爬虫入门到精通_基础篇5(PyQuery库_PyQuery说明，初始化，基本CSS选择器，查找元素，遍历，获取信息，DOM操作)

最新推荐文章于 2024-07-26 11:59:52 发布
最新推荐文章于 2024-07-26 11:59:52 发布
阅读量458 收藏 7
点赞数 7
分类专栏： # 爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41865866/article/details/135974561
版权

1 PyQuery说明：

  • PyQuery是python中一个强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，又觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法那么，PyQuery就是你绝佳的选择。

安装

pip3 install pyquery

2 初始化

介绍三种初始化PyQuery的方法。

1.字符串初始化

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq  # 习惯写法，用字母pq来代替PyQuery类

doc = pq(html)  # 声明PyQuery对象doc，传入html这个参数（字符串）
print(doc('li'))  # 用css选择器来实现，如果要选id前面加#，如果选class，前面加.，如果选标签名，什么也不加

在这里插入图片描述

2. URL初始化

from pyquery import PyQuery as pq
doc=pq(url='http://www.baidu.com')#直接请求传入的url
print(doc('head'))

选择出了head标签
在这里插入图片描述

3.文件初始化

demo.html为本地文件

from pyquery import PyQuery as pq
doc=pq(filename='demo.html')#指定文件名，该文件在运行目录下
print(doc('head'))

3 基本CSS选择器

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
print(doc('#container .list li'))
# 会查找id为container class为list，标签为li的对象，只是层级关系，后者并非一定是前者的子对象
# 注意用空格隔开

在这里插入图片描述

4 查找元素

查找子元素

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

from pyquery import PyQuery as pq

doc = pq(html)
items = doc('.list')  # 拿到items，里面选择了list类
print(type(items))
print(items)
lis = items.find('li')  # 利用find方法，查找items里面的li标签，得到的lis也可以继续调用find方法往下查找，层层剥离
print(type(lis))
print(lis)

在这里插入图片描述
也可以用**.children()**查找直接子元素：

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''

from pyquery import PyQuery as pq

doc = pq(html)
items = doc('.list')
lis = items.children()
print(type(lis))
print(lis)
lis = items.children('.active')
print(lis)

在这里插入图片描述

查找父元素

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
items = doc('.list')
container = items.parent()  # .parent()查找对象的父元素
print(type(container))
print(container)

在这里插入图片描述

祖先节点

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
items = doc('.list')
# parents = items.parents()#.parents（）查找所有的祖先节点
parent = items.parents('.wrap')  # 可以传入参数，再次进行筛选
print(parent)

在这里插入图片描述

兄弟元素

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

from pyquery import PyQuery as pq

doc = pq(html)
li = doc('.list .item-0.active')  # 空格表示下一层，没有空格表示并列
print(li.siblings())  # .siblings()兄弟元素，即同级别的元素，不包括自己

在这里插入图片描述
还可以从结果里再次进行筛选：

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

from pyquery import PyQuery as pq

doc = pq(html)
li = doc('.list .item-0.active')  # 空格表示下一层，没有空格表示并列
print(li.siblings('.active'))

在这里插入图片描述

5 遍历

如果查找的结果有多个元素，并且你想对每一个都进行操作，那么就要用到遍历了。遍历的关键就是items。

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
lis = doc('li').items()  # .items会是一个生成器,可以用来遍历
print(type(lis))
for li in lis:
    print(li)

在这里插入图片描述

6 获取信息

获取属性

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
a = doc('.item-0.active a')  # 选出同时具备这item-0，active两个信息的标签 空格表示这个标签内层的标签
print(a)
print(a.attr('href'))  # a标签的href属性的内容，也就是一个超链接
print(a.attr.href)  # 另一种写法

在这里插入图片描述

获取文本

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
a = doc('.item-0.active a')  # 选出同时具备这item-0，active两个信息的标签 空格表示这个标签内层的标签
print(a)
print(a.text())  # 获取该标签中的内容

在这里插入图片描述

获取HTML

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')#选中一个li标签
print(li)
print(li.html())#获得该标签中的html内容

在这里插入图片描述

7 DOM操作

对节点进行一些操作。这部分有许多的API，这里举一些例子。

addClass、removeClass

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
li = doc('.item-0.active')
print(li)
li.removeClass('active')  # 删除active这个class属性
print(li)
li.addClass('active')  # 增加
print(li)

在这里插入图片描述

attr、css

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')  # 如果不存在，就会向标签中添加一个内容为link的name属性，如果存在，那就改变之
print(li)
li.css('font-size', '14px')  # 增加一个css
print(li)

在这里插入图片描述

remove

看下面的一段html，我们想要单独获得“Hello World”内容，但是和他并列的还有另外的内容，如果我们直接选中wrap标签然后.text，那么会获取两段内容。这时候可以先用remove方法把不需要的并列内容删除掉。

html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())

wrap.find('p').remove()  # 找到p标签然后删除
print(wrap.text())

在这里插入图片描述

其他DOM方法

其他DOM方法

伪类选择器

根据自身需要（顺序之类的），选择指定的标签。

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq

doc = pq(html)
li = doc('li:first-child')  # 选择li标签中的第一个
print(li)
li = doc('li:last-child')
print(li)
li = doc('li:nth-child(2)')  # 获取第2个li标签
print(li)
li = doc('li:gt(2)')  # 获取索引2个以后的li标签。注意！索引是从0开始的
print(li)
li = doc('li:nth-child(2n)')  # 获取第偶数个的li标签
print(li)
li = doc('li:contains(second)')  # 查找包含"second"文本的li标签

在这里插入图片描述

更多CSS选择器

更多CSS选择器

好奇养活小猫
关注
专栏目录
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 53万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
【100天精通python】Day41：python网络爬虫开发_爬虫基础入门
qq_35831906的博客
08-19 6331
网络爬虫（Web Crawler），是一种自动化程序，用于在互联网上浏览和抓取信息。爬虫可以遍历网页，收集数据，提取信息，以便于进一步处理和分析。网络爬虫在搜索引擎、数据采集、信息监测等领域发挥着重要作用。1.1 工作原理初始URL选择： 爬虫从一个或多个初始URL开始，这些URL通常是你希望开始爬取的网站的主页或其他页面。发送HTTP请求： 对于每个初始URL，爬虫会发送HTTP请求以获取网页内容。
一起学爬虫——PyQuery常用用法总结
weixin_30622181的博客
12-03 1756
什么是PyQuery PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。 初始化PyQuery对象 html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要...
python爬虫之css选择器
09-24
python爬虫 css提取网页内容的详细方法，有助于新手可以轻松上手，内容简单易懂，轻松掌握css的使用
Python爬虫技术 第15节 CSS选择器基础
最新发布
hummhumm的专栏
07-26 1313
在使用Python进行网页爬取时，CSS选择器是提取HTML文档中特定元素的常用方法之一。CSS选择器基于HTML元素的结构和属性来定位和选择页面中的元素。结合Python中的库或PyQuery库等，可以非常高效地解析和筛选出你想要的数据。
爬虫之CSS选择器
sdadaaagfsee3的博客
09-25 191
CSS选择器 from bs4 import BeautifulSoup 解析html文档 soup = BeautifulSoup(open('web.html','r',encoding = 'utf-8'),'lxml') 通过标签进行选择 print(soup.select('span')) #[<span>logo</span>] 返回一个列表 print(...
爬虫css选择器，选择属性
weixin_40340586的博客
06-29 301
有一个网页是这样的，我向提取onclick里的值。 这时用attr， 如下代码： if selector.css(".con10 a.but_alert").get(): id = selector.css(".con10 a.but_alert::attr(onclick)").extract() print(id) dict_org['id'] = id else: dict_org['id'] = None
网络爬虫之css选择器
呆萌的代Ma
09-13 962
文章目录1.通过id，class选择元素2.元素内部筛选3.通过属性值筛选4.取值 1.通过id，class选择元素 #container 选择id为container的元素 .container 选择所有class包含container的元素 div:not(#content-container) 选取所有id为非content-container 的div 2.元素内部筛选 div a 选取所有div下所有a元素 ul + p 选取ul后面的第一个
爬虫相关知识之CSS选择器
qq_36167192的博客
08-25 156
CSS选择器 列子 描述 .intro 选择class=‘intro’的所有节点 #name 选择id=‘name’的所有节点 * 选择所有节点 p 选择所有p节点 div,p 选择所有div节点和p节点 div p 选择div节点内部的所有p节点 div>p 选择父节点为div的所有p节点 div+p 选择紧接在div节点之后的所有p节点 [target] 选择带有target属性的所有节点 [target=blank] 选择属性target=‘b
舆情监控数据采集 Scrapy 标准化爬虫数据采集模板
热门推荐
Mr数据杨
02-04 3万+
在舆情监控和数据采集领域，如何构建一个高效、可扩展的爬虫是一大挑战。这里将介绍如何使用Scrapy框架创建一个标准化的爬虫模板，能够快速适应不同类型的数据采集任务。创建Scrapy项目是第一步。只需一个简单的命令，就可以生成一个具有基本结构和配置文件的新项目。如何根据需求定制爬虫，包括列表页面和详情页面的数据抓取。还提供了代码示例和详细的解释，包括如何定位需要抓取的标签和属性，以及如何在模板中进行替换。这样，无论是哪个网站，只需稍作修改就能实现整体的数据抓取和采集。
python爬虫开发之PyQuery模块详细使用方法与实例全解
python爬虫教程
03-10 4157
这篇文章主要介绍了python爬虫开发之PyQuery模块详细使用方法与实例全解,需要的朋友可以参考下 python爬虫模块PyQuery简介 PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去...
scrapy爬虫之CSS选择器(比前面两个更全)
12-24
一个使用css选择器的完整爬虫工程，比本人前面两个相应资料更完整，与博文同步分享。
Scrapy 2.6 ItemLoader 数据加载器应用
Mr数据杨
02-01 3万+
在 Scrapy 框架中，ItemLoader 是一个强大的工具，用于简化和标准化数据从网页到 Item 的加载过程。它允许你在提取数据的同时，应用各种处理方法，如数据清洗、格式化和默认值设置等，使得抓取的数据更加一致和易于使用。ItemLoader 的核心思想是将数据提取、清洗和填充 Item 这几个步骤结合在一起，使得代码更简洁、更易维护。通过定义自定义的加载器，还可以针对特定类型的数据执行更复杂的处理逻辑。初始化 ItemLoader。
python爬虫---css选择器
qq_42633222的博客
05-13 650
css选择器是什么？ 要使用css对HTML页面中的元素实现一对一，一对多或者多对一的控制，这就需要用到CSS选择器。HTML页面中的元素就是通过CSS选择器进行控制的。 CSS选择器主要用于选择需要添加样式的元素。 css选择器的详细用法： #container:选择id为container的节点 .container:选取所有class包含container的节点 ...
Python爬虫(5)css选择器
qq_34786604的博客
08-28 4349
CSS选择器 伪类 伪元素 组合选择器 CSS实例
[爬虫]1.2.2 CSS选择器
Andy0214的专栏
07-21 8507
CSS (Cascading Style Sheets) 是一种样式表语言，用于描述HTML元素的样式。CSS选择器是CSS规则的一部分，它决定了CSS规则应用于哪些元素。在网络爬虫的开发中，我们经常使用CSS选择器来定位和选取HTML元素。
python爬虫(一)-------------------css选择器
04-01 433
HTML不直接使用属性设置元素而用css的原因:修改时需要改的地方太多,用css统一的模板效率高得多 基本选择语法: http://www.w3school.com.cn/cssref/css_selectors.asp 1 id选择器与类选择器的区别:id选择器只能选择唯一的元素 因为id的属性是唯一的 即class可以从名,而id不可以 ...
Python网络爬虫(八)——CSS选择器
止步听风的博客
05-21 826
CSS 层叠样式表(Cascading Style Sheets，CSS)是一种用来表现 XML/HTML 等文件样式的计算机语言。 CSS 不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页个元素进行格式化。 CSS 能够对网页中元素位置的排版进行像素级的精确控制，支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的能力。 CSS 选择器 而使用 CSS 选择器可以对 HTML 页面总的元素实现一对一、一对多或者多对多的控制。 每一条 CSS 样式定义由两部分构成： [cod
python爬虫05：爬虫与css选择器
lafea的博客
08-04 1247
爬虫与css选择器 scrapy 依赖 lxml， lxml 是c语言写的，也支持css css 没有 xpath 强大 # -*- coding: utf-8 -*- import scrapy class JobboleSpider(scrapy.Spider): name = 'jobbole' allowed_domains = ['news.cnblogs.com'] start_urls = ['http://news.cnblogs.com/'] de
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值