python爬虫之PyQuery的基本使用

最新推荐文章于 2024-05-28 08:52:12 发布
最新推荐文章于 2024-05-28 08:52:12 发布
阅读量346 收藏
点赞数
分类专栏： python 前端技术

PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。
官网地址：http://pyquery.readthedocs.io/en/latest/
jQuery参考文档： http://jquery.cuishifeng.cn/

 

1、字符串的初始化

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

from pyquery import PyQuery as pq

 

html = '''<div>

    <ul>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

print(doc)

print(type(doc))

print(doc('li'))

复制代码

<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul></div>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

复制代码

 

2、打开html文件

　　注意路劲问题

1

2

3

4

from pyquery import PyQuery as pq

doc = pq(filename='index.html')

print(doc)

print(doc('head'))

复制代码

    <title>Title</title>
</head>
<body>
    <div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul></div>'''
</body>
</html>
<head>
    <meta charset="UTF-8"/>
    <title>Title</title>
</head>

复制代码

 

3、打开某个网站

1

2

3

4

doc = pq('https://www.baidu.com')

# doc1 = pq(url='https://www.baidu.com')

print(doc)

print(doc('head'))

　　

4、基于CSS选择器查找

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

from pyquery import PyQuery as pq

 

html = '''<div>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

print(doc)

#id等于haha下面的class等于item-0下的a标签下的span标签（注意层级关系以空格隔开）

print(doc('#haha .item-0 a span'))

复制代码

<div>
    <ul id="haha">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul></div>
<span class="bold">third item</span>

复制代码

 

 

5、可以通过已经查找的标签，查找这个标签下的子标签或者父标签，而不用从头开始查找。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

item = doc('div ul')

print(item)

#我们可以通过已经查找到的标签，再此查找这个标签下面的标签

print(item.parent())

print(item.children())

复制代码

<ul id="haha">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
<div class="&#x2018;content&#x2019;">
    <ul id="haha">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul></div>
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

复制代码

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

item = doc('div ul')

print(item)

#注意这里查找ul标签的所有子标签，也就是li标签，下面是查找class属性的标签，如果你把class换成href肯定不行，它指的只是儿子并不是子子孙孙

print(item.children('[class]'))

 

6、获取属性值

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

#注意class=item-0 active是一个class的属性，但是在pyquery里面要是中间也是空格隔开的话，

#就变成了item-0下的active标签下的a标签了，所以这里空格必须改成点

item = doc(".item-0.active a")

print(type(item))

print(item)

#获取属性值的两种方法

print(item.attr.href)

print(item.attr('href'))

<class 'pyquery.pyquery.PyQuery'>
<a href="link3.html"><span class="bold">third item</span></a>
link3.html
link3.html

 

7、获取标签的内容

1

2

3

4

5

6

7

8

9

10

11

12

13

14

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

a = doc("a").text()

print(a)

#结果很有趣，他是找到所有标签的值，然后给连到一起打出来，就像一段话
second item third item fourth item fifth item

 

 

8、Dom操作

1、属性的增加删除操作

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

li = doc('.item-0.active')

print(li)

#删除classactive

print(li.removeClass('active'))

#增加class属性haha

print(li.addClass('haha'))

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0 haha"><a href="link3.html"><span class="bold">third item</span></a></li>

 

2、attrs和css

　　注意：下列操作有则改之，无则加之。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

from pyquery import PyQuery as pq

 

html = '''<div class=‘content’>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

li = doc('.item-0.active')

print(li)

print(li.attr('id','id_test'))

print(li.css('font-size','20px'))

复制代码

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0 active" id="id_test"><a href="link3.html"><span class="bold">third item</span></a></li>
         
<li class="item-0 active" id="id_test" style="font-size: 20px"><a href="link3.html"><span class="bold">third item</span></a></li>

复制代码

 

 

3、删除某个标签，在爬去过程中我们通常爬去一下标签或者内容下来的时候总会有些不想要的标签，这个时候我们可以用下面的类似方法删除这个标签。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

from pyquery import PyQuery as pq

 

html = '''<div class='content'>

    <ul id = 'haha'>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul></div>'''

 

doc = pq(html)

data = doc('.content')

print(data.text())

#删除所有a标签

data.find('a').remove()

#再次打印

print(data.text())

first item second item third item fourth item fifth item
first item

 

 

转载地址：https://www.cnblogs.com/lei0213/p/7676254.html

 

 

实例：

# coding=utf-8
from pyquery import PyQuery as pq  #pyquery模块




# 执行更新操作
content = '''<p class=MsoNormal><p class=MsoNormal><span lang="EN-US" style='font-family:"Times New Roman","serif"'>
<span lang="EN-US" style='font-family:"Times New Roman","serif"'>
<img height="68" id="图片 1786" src="/alEngin/upload/word/4028803a2c408e3e012c409026b60005/2c2880432c7d6f51012c7e300e9c0021/2c2880432dc13f98012e4c90f56401d6/2c2880432dc13f98012e4c9171c801d7/2c2880432dc13f98012e4c9171e701d8.files/image001.jpg" width="94"/>
</span></span></p>
</p>'''
doc = pq(content)
# span = doc('span')
# doc('p').remove_class('MsoNormal')
# doc('span').css('font-family','').attr('lang','')

# 清除所有的class
doc('[class=MsoNormal]').remove_class('MsoNormal')
# doc下所有的元素清除font和lang
doc('*').css('font-family','').attr('lang','')
print(doc)

 

夏微凉秋微暖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一起学爬虫——PyQuery常用用法总结
weixin_30622181的博客
12-03 1736
什么是PyQuery PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。 初始化PyQuery对象 html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要...
Python 中 PyQuery 库
既然选择远方，便只顾风雨兼程！
02-27 3857
文章目录PyQuery库一、 简介1、 概述2、 安装3、 导包二、 用法详解1、 初始化1.1 字符串初始化1.2 URL 初始化1.3 文件初始化2、 CSS选择器2.1 属性选择器2.2 节点选择器2.3 筛选选择器3、元素操作3.1 遍历元素3.2 获取属性值4、 样式操作4.1 修改样式5、 获取值5.1 获取属性值5.2 获取文本值5.3 获取 HTML 元素三、 总结 PyQuery库 一、 简介 1、 概述 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析
Python库之PyQuery的简介、安装、使用方法详细攻略
最新发布
shadowtalon的博客
05-28 687
PyQuery是一个强大的库，它提供了一种简单的方式来处理HTML文档。它使得Python中的HTML操作变得直观和易于理解，特别是对于那些熟悉jQuery的开发者来说。通过上述的使用方法，你可以开始使用PyQuery来解析和操作HTML文档了。
19-爬虫解析利器pyquery详解
热门推荐
bigzql的博客
10-15 1万+
强大灵活的网页解析库。如果你觉得正则写起来太麻烦，或者BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么pyquery就是最佳选择。它与jQuery api相同，可以无缝迁移 1.pyquery库的了解 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。 1.1 pyquery库的安装方法: 在cmd输入:pip install pyquery 1.2 pyquery库的引用:(注意大小写) from pyq
3.3 pyquery 的使用
学编程的菜恐龙的博客
03-06 1468
简要概述了pyquery的安装、初始化、查找节点、获取节点属性和文本、CSS选择器等操作
pyquery的使用
farkuai的博客
04-21 876
pyquery的使用 注：来源于崔庆才<<python3爬虫实战开发2>>本人学习并分享，略有补充。 本文主要分为四个部分，首先是将网页内容转为pyquery解析对象，然后通过该对象进行节点的选择以及文本和属性的提取。并且可以通过一些方法可以更改节点的信息，以便更容易筛选得到想要的节点。 安装pyquery库 pip install pyquery 初始化pyquery对象 解析成pyquery有三种方式，分别是字符串、URL、文件三种，传入不同的参数就是不同的初始化了。 字符串
Python爬虫PyQuery库基本用法入门教程
01-20
本文实例讲述了Python爬虫PyQuery库基本用法。分享给大家供大家参考，具体如下： PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，...
Python网络爬虫神器PyQuery的基本使用教程
09-20
主要给大家介绍了关于Python网络爬虫神器PyQuery的基本使用教程，文中通过示例代码介绍的非常详细，对大家学习使用PyQuery具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
python爬虫学习笔记之pyquery模块基本用法详解
09-17
主要介绍了python爬虫学习笔记之pyquery模块基本用法,结合实例形式详细分析了python爬虫pyquery模块基本功能、用法及操作注意事项,需要的朋友可以参考下
python爬虫-pyquery详解.ipynb
05-22
python爬虫-pyquery详解.ipynb代码python爬虫-pyquery详解.ipynb
2.9.2.3Python-解析库_PyQuery
寒暄的博客
02-09 291
总目录：https://www.jianshu.com/p/e406a9bc93a9 Python-爬虫 - 子目录：https://www.jianshu.com/p/23cf57674bf1 文档：https://pythonhosted.org/pyquery/ 如果感觉正则书写太过麻烦，beatifulsoup...
python Pyquery库详细介绍，爬虫必备
03-11
python pyquery 库是学习爬虫必备的一个库，它解析强大，有超高的应用场景，可以帮你快速解析网页，找到你想找到的内容
Python爬虫之PyQuery模块
06-24 585
Python爬虫之PyQuery模块一：PyQuery简介二：初始化2.1 字符串的初始化2.2 URL初始化2.3 文件初始化三：基本CSS选择器3.1 查找子节点3.2 查找父节点3.3 查找兄弟节点四：遍历五：获取信息5.1 获取属性5.2 获取文本六：节点操作6.1 addClass和removeClass6.2 attr、text和html6.3 remove()七：其他操作方法 一：PyQuery简介 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML
python爬虫从入门到放弃-python爬虫从入门到放弃（七）之 PyQuery库的使用
q6q6q的专栏
10-28 275
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。初始化初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件字符串初始化html = '''first it...
Python 爬虫（五）：PyQuery 框架
Python小二
10-19 3195
PyQuery 是仿照 jQuery 实现的。
python 爬虫——针对query爬取百度百科页面
无限大地NLP_空木的专栏
03-15 3169
Preface:最近有些事情，需要爬取百度百科的东西，以前的给忘光了，不用就会忘记，还好有部分记录，可是以前大部分都因为没有记录又重新查找了很多东西，所以说经常记录很有必要。 coding: import codecs#用于打开文件夹保证编码格式 import urllib2#用于爬取 import re#用于匹配找到url import os#用于创建文件夹 from bs4
python之pyQuery使用总结
不忘初心，方得始终
05-09 8154
什么是pyQuery     当我们使用爬虫抓取网页后，还需要对抓取的HTML内容进行处理以获得需要的信息．pyQuery是jQuery的python实现，可以用来解析HTML内容． 安装 　我的环境：Ubuntu 14.04+python2.7     命令：pip install pyquery 使用 　加载HTML内容     from pyquery import pyQue
Python爬虫实战：爬取JS组成的页面
星之所望的博客
07-03 2128
https://blog.csdn.net/cbjcry/article/details/84882915
Python爬虫选择器(三) PyQuery
人生苦短，我用python
05-14 732
pyquery选择器更适合对web熟悉的人: demo: html = ''' <div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</...
爬虫python入门from pyquery import PyQuery as pq
07-16
你的代码片段是使用 PyQuery 库来进行网页解析。PyQuery 是一个类似于 jQuery 的库，可以方便地使用 CSS 选择器来提取网页中的元素。 需要注意的是，你在导入 PyQuery 时使用了别名 `pq`，这样可以简化代码并提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值