Python全栈开发-Python爬虫-07 PyQuery详解

最新推荐文章于 2024-04-26 17:42:56 发布
最新推荐文章于 2024-04-26 17:42:56 发布
阅读量319 收藏
点赞数
分类专栏： python基础 python 文章标签： python 爬虫 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kc44601/article/details/118342412
版权

PyQuery详解

pyquery允许你对xml文档进行jquery查询，API尽可能类似jquery,pyquery使用lxml进行快速xml和html操作

PyQuery是python中一个强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，又觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法那么，PyQuery就是你绝佳的选择。

安装：

pip install pyquery

一. 初始化

1.1 基于标签选择器

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq  #用字母pq代替PyQuery

doc = pq(html) #声明PyQuery对象，传入html

print(doc('li'))  #选择li标签 拿到所有li标签
print(type(doc('li')))  # 类型

运行结果如下:

<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     
<class 'pyquery.pyquery.PyQuery'>

1.2 URL初始化

from pyquery import PyQuery as pq

doc = pq(url='http://www.baidu.com') # 直接传入请求的url 请求百度首页
print(doc)
print("-----------"*10)
print(doc('head'))

运行结果如下:

<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css"/><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270" height="129"/> </div> <form id="form" name="f" action="//www.baidu.com/s" class="fm"> <input type="hidden" name="bdorz_come" value="1"/> <input type="hidden" name="ie" value="utf-8"/> <input type="hidden" name="f" value="8"/> <input type="hidden" name="rsv_bp" value="1"/> <input type="hidden" name="rsv_idx" value="1"/> <input type="hidden" name="tn" value="baidu"/><span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus=""/></span><span class="bg s_btn_wr"><input type="submit" id="su" value="百度一下" class="bg s_btn"/></span> </form> </div> </div> <div id="u1"> <a href="http://news.baidu.com" name="tj_trnews" class="mnav">æ–°é—»</a> <a href="http://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a> <a href="http://map.baidu.com" name="tj_trmap" class="mnav">地图</a> <a href="http://v.baidu.com" name="tj_trvideo" class="mnav">视频</a> <a href="http://tieba.baidu.com" name="tj_trtieba" class="mnav">贴吧</a> <noscript> <a href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login" class="lb">登录</a> </noscript> <script>document.write('&lt;a href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&amp;")+ "bdorz_come=1")+ '" name="tj_login" class="lb"&gt;登录&lt;/a&gt;');</script> <a href="//www.baidu.com/more/" name="tj_briicon" class="bri" style="display: block;">更多产品</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">å
³äºŽç™¾åº¦</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">使用百度前å¿
读</a>  <a href="http://jianyi.baidu.com/" class="cp-feedback">意见反馈</a> 京ICP证030173号  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>
--------------------------------------------------------------------------------------------------------------
<head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css"/><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head>

1.3 filename 文件初始化

from pyquery import PyQuery as pq
doc = pq(filename='demo.html') # filename指定文件名，该文件放在了运行目录下
print(doc)
print('------'*10)
print(doc('li'))

运行结果如下:

<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
------------------------------------------------------------
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

注意:PyQuery找都是找所有 这是跟bs4不同的地方

二. 基本CSS选择器

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
         <i>qwe</i>
     </ul>
 </div>
'''



from pyquery import PyQuery as pq
doc = pq(html)
print(doc('li'))  # 标签选择器 默认选取到所有
print('-------'*5)
# 层级选择器 #表示id  空格就是下一级 .表示类名list 标签li
print(doc('#container .list li'))  
print('-------'*5)
print(doc('#container')) # 默认拿到整个div

运行结果如下:

<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
         
-----------------------------------
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
         
-----------------------------------
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
         <i>qwe</i>
     </ul>
 </div>

三. 查找元素

3.1 子元素

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
     <ul>
         <li>123123213</li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

items = doc('.list li')
print(items)
print('------'*10)

# # PyQuery找都是找所有 这是跟bs4不同的地方
lis = doc.find('li')
print(lis)
print('------'*10)

dfg = lis('span')
print(dfg)

运行结果如下:

<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     
------------------------------------------------------------
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     <li>123123213</li>
     
------------------------------------------------------------
<span class="bold">third item</span>

接上面代码

items = doc('.list')
print(items)
print('------'*10)

lis = items.children() # 孩子节点 也就拿到li标签
print(lis)

运行结果如下:

<ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
     
------------------------------------------------------------
<li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>

接上面代码

lis = items.children('.active') # 拿类名为active
print(lis)

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

3.2 父元素

html = '''
<div id="zuzong">
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(items)
print('----'*10)
container = items.parent() # 父元素
print(container)

运行结果如下:

<ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 
----------------------------------------
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

3.3 祖先元素

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(items)
print('---------'*10)
parents = items.parents()  # 祖先
print(parents)

运行结果如下:

<ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     
------------------------------------------------------------------------------------------
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div><div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>

3.4 兄弟元素

例一:

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')  # list 下边的有item-0和active类属性的元素
print(li)

print(li.siblings())  # 兄弟节点

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0">first item</li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>

例二:

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')
print(li)

print(li.siblings('.active'))  # 通过.active 找兄弟节点

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-1 active"><a href="link4.html">fourth item</a></li>

四. 遍历

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
# li = doc('.item-0 active')  #错误用例
li = doc('.item-0.active')  # 重点注意！！
print(li)

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

# lis = doc('li')
# print(lis) 
# for li in lis:
#     print(li) # 只返回内存地址


# 如果得到的是多个节点的对象，则需要进行遍历来获取单个节点对象，
# 这时要注意不能直接遍历多个节点对象，而是要调用多节点对象的items()方法
# .items()返回一个迭代器,如果不用items() 遍历的时候没法拿到正确数据，只告诉内存地址

lis = doc('li').items()
print(lis) 

for li in lis:
    print(li)

运行结果如下:

<generator object PyQuery.items at 0x0000028FFF701F90>
<li class="item-0">first item</li>
             
<li class="item-1"><a href="link2.html">second item</a></li>
             
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
             
<li class="item-0"><a href="link5.html">fifth item</a></li>

五. 获取信息

5.1 attr – 获取属性

很重要，因为图片视频都是在链接里面，我们拿到链接就可以保存为二进制数据

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a title="qwe123" id="qqqqq" href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.attr('href')) # attr 表示拿属性  推荐第一种写法

print('----------'*10)
# 注意 beautifulsoup里获取属性是attrs
print(a.attr.href) #第二种写法
print(a.attr.id) 
print(a.attr.title)

运行结果如下:

<a title="qwe123" id="qqqqq" href="link3.html"><span class="bold">third item</span></a>
link3.html
----------------------------------------------------------------------------------------------------
link3.html
qqqqq
qwe123

5.2 text() --获取文本

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">uuuuuu</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.text()) # .text() 获取文本

# beautifulsoup里面CSS获取文本是get_text()

运行结果如下:

<a href="link3.html"><span class="bold">uuuuuu</span></a>
uuuuuu

六. DOM操作

6.1 addClass、removeClass

能帮我们快速查找或筛选数据

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

li = doc('.item-0.active')
print(li)

li.removeClass('active') # 移除类名
print(li)  #发现类名里面active没有了

li.addClass('active') # 添加类名
print(li)

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

6.2 attr、css

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

li = doc('.item-0.active')
print(li)

li.attr('name', 'link') # attr 如何没有name属性就添加name属性值为link
print(li)

li.css('font-size', '14px') # 修改css样式 如果没有 就会添加font-size为14px
print(li)

运行结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
             
<li class="item-0 active" name="link" style="font-size: 14px"><a href="link3.html"><span class="bold">third item</span></a></li>

6.3 remove — 移除标签以及内容

html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

wrap = doc('.wrap')
# print(wrap)
# print('----'*10)
# print(wrap.text())
# print('-----'*10)
wrap.find('p').remove() # p标签没有任何属性供我们去选择 但又不想要p标签里的数据，那就移除p标签
print(wrap)
print(wrap.text()) # 移除了p标签及其内部的文字内容

运行结果如下:

<div class="wrap">
    Hello, World
     
 </div>
Hello, World

其他DOM方法

七. 伪类选择器

jQuery所有选择器都适用

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('li:last')   # li标签的最后一个
print(li)
li = doc('li:last-child')  # li标签最后一个孩子
print(li)
li = doc('li:nth-child(4)') # 索引从1开始 拿第4个孩子
print(li)
li = doc('li:lt(2)')  # 根据索引值判断 索引从0开始 gt表示大于  lt表小于
print(li)
li = doc('li:eq(4)')  # eq表等于
print(li)
li = doc('li:contains(first)') #contains包含某内容 主要做内容的筛选
# # print(li)
print(li)

运行结果如下:

<li class="item-0"><a href="link5.html">fifth item</a></li>
         
<li class="item-0"><a href="link5.html">fifth item</a></li>
         
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
             
<li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             
<li class="item-0"><a href="link5.html">fifth item</a></li>
         
<li class="item-0">first item</li>

更多CSS选择器可以查看 更多css选择器

PyQuery官方文档 — PyQuery官方文档

落空空。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pyquery如何解析xml
wujunlei1595848的博客
06-04 771
之前遇到pyquery解析svg文件(xml格式)的时候发现无法获取节点，比如下面这个svg文件： <?xml version="1.0" encoding="UTF-8" standalone="no"?> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/D...
爬虫入门之结构化数据类型XML的提取（PyQuery）
qq_43706512的博客
09-10 486
PyQuery pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手。 官方文档是英文的，但也比较容易阅读和理解。有一个中文的教程网站，这里也提供出来。 官方文档：https://pythonhosted.org/pyquery/index.html 中文教程：http://www.ge...
19-爬虫解析利器pyquery详解_pyquery是什么
2401_84616922的博客
04-26 572
注意:这里同样有一个问题，如果我们选中的结果是多个节点，text()或html()会返回什么内容？我们选中的是所有的li节点，可以发现html()方法返回的是第一个li节点的内部HTML文本，而text()则返回了所有的li节点内部纯文本，中间用一个空格分割开，实际上是一个字符串。如果我们得到的结果是多个节点，如果要获取每个节点的内部HTML文本，则需要遍历每个节点，而text()方法不需要遍历就可以获取，它是将所有节点取文本之后合并成一个字符串。
python解析html xml最好的模块_Python开发包推荐系列之xml、html解析器PyQuery
weixin_39840729的博客
11-29 84
使用python，喜欢她的简洁是一方面，另外就是它有着丰富的开发包 好用又方便 接下来会给大家推荐一系列很赞的开发包。在解析html、xml过程中，我们有不少的包可以用。比如bs、lxml、xmltodict等 如果说你想立即上手，那么pyquery必然是最佳之选。从名字上就可以看出，她一定和jQuery有着一定的关系在官方网站上就是这样描述它的pyquery: a jquery-like lib...
Python 中 PyQuery 库
既然选择远方，便只顾风雨兼程！
02-27 3852
文章目录PyQuery库一、 简介1、 概述2、 安装3、 导包二、 用法详解1、 初始化1.1 字符串初始化1.2 URL 初始化1.3 文件初始化2、 CSS选择器2.1 属性选择器2.2 节点选择器2.3 筛选选择器3、元素操作3.1 遍历元素3.2 获取属性值4、 样式操作4.1 修改样式5、 获取值5.1 获取属性值5.2 获取文本值5.3 获取 HTML 元素三、 总结 PyQuery库 一、 简介 1、 概述 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析
python爬虫-pyquery详解.ipynb
05-22
python爬虫-pyquery详解.ipynb代码python爬虫-pyquery详解.ipynb
Python爬虫基础教程-Urllib详解.pdf
06-12
Python的Urllib库是进行网络数据获取的重要工具，尤其在编写爬虫程序时。它集成了多种处理URL的模块，方便开发者对网络资源进行...总的来说，掌握Urllib库是Python爬虫开发的基础，也是进一步深入学习网络编程的关键。
07-Python爬虫工程师-mitmproxy使用
02-23
Python爬虫工程师-mitmproxy使用思维导图，便捷整理思路，Mitmproxy三个的组件、Mitmproxy、Mitmproxy使用、Mitmdump详解
Python-pyquery一个解析HTML的库类似jQuery
08-10
**Python PyQuery库详解——HTML解析利器** PyQuery是一个基于Python的库，它提供了一种类似于jQuery的API来处理和解析HTML文档。这个强大的工具使得Python开发者在处理XML或HTML数据时，能够享受到与JavaScript中...
xiaChuFang-python爬虫案例-下厨房网站信息爬取.rar
最新发布
05-31
《Python爬虫实战：下厨房网站信息爬取详解》 Python爬虫技术是现代数据分析和信息获取的重要工具，尤其在互联网大数据时代，爬虫技术的应用日益广泛。本案例以“下厨房”网站为例，深入讲解如何利用Python进行网页...
python Pyquery库详细介绍，爬虫必备
03-11
python pyquery 库是学习爬虫必备的一个库，它解析强大，有超高的应用场景，可以帮你快速解析网页，找到你想找到的内容
一起学爬虫——PyQuery常用用法总结
weixin_30622181的博客
12-03 1735
什么是PyQuery PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。 初始化PyQuery对象 html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要...
python爬虫基础---pyquery解析
suwuzs的博客
06-21 257
前言 pyquery：一个类似 jquery 的 Python 库 pyqueryAPI类似于jquery。pyquery 使用 lxml 进行快速 xml 和 html 操作。 可以借助pip3 install pyquery 或者 conda install pyquery 安装 一、pyquery 初始化，我们在解析HTML文档时，首先需要将其初始化一个pyquery对象； 初始化方法，直接传入字符串、传入URL、传入文件名等等。 1.传入字符串 html = ''' <div>
2.9.2.3Python-解析库_PyQuery
寒暄的博客
02-09 291
总目录：https://www.jianshu.com/p/e406a9bc93a9 Python-爬虫 - 子目录：https://www.jianshu.com/p/23cf57674bf1 文档：https://pythonhosted.org/pyquery/ 如果感觉正则书写太过麻烦，beatifulsoup...
PyQuery的使用方法
xiequanshuai的博客
01-21 620
from pyquery import PyQuery as pq def get_file(filename): doc = pq(filename=filename) # 通过本地文件 div_all = doc.find('div[data-asin]') # 获取所有div中属性为data-asin for index in range(len(div_all)): # 循环输出单个div为data-asin中的内容 html = .
PyQuery读写html文件
taiq的专栏
07-12 4560
原html文件 tmpl.html http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> http://www.w3.org/1999/xhtml"> 无标题文档   python代码 from pyquery import PyQuery as pq from lxml import etre
python爬虫-PyQuery详解
YOUNGBC的博客
01-27 658
python爬虫-PyQuery详解 Python爬虫解析库，主流的有 PyQuery Beautifulsoup Scrapy Selectors 正则表达式。 PyQuery和scrapy Selectors都是基于lxml模块，而lxml和正则表达式都是C语言写的。 Beautifulsoup是用纯Python编写的。 正则表达式的构造稍微复杂一点，一般在结构化的网页中易出错。 我们声明...
Python——pyquery解析html
cod16xx的博客
07-26 2186
一篇写的很好的pyquery文章 pyquery官方文档quick start:from pyquery import PyQuery as pq from lxml import etree import urllib d = pq("<html></html>") d = pq(etree.fromstring("<html></html>")) d = pq(url=your_url) d
pyquery库基础
萨丁
09-03 298
python3爬虫学习笔记 pyquery 初始化 字符串初始化 html = ''' <div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item&lt...
Python爬虫开发与项目实战-基础爬虫爬取百度百科词条标题-编程项目案例解析实例详解课程教程.pdf
03-27
本章内容主要是关于Python爬虫开发与项目实战的基础爬虫实例。在这个实战项目中，我们将学习如何使用Python编写爬虫程序，以爬取百度百科词条的标题、摘要和链接等信息。这个爬虫项目被称为基础爬虫，因为它功能简单...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值