PyQuery库的使用

最新推荐文章于 2020-10-29 14:42:22 发布
最新推荐文章于 2020-10-29 14:42:22 发布
阅读量83 收藏
点赞数
文章标签： javascript 前端 ViewUI
原文链接：http://www.cnblogs.com/cjj-zyj/p/10045001.html
版权

官网地址：http://pyquery.readthedocs.io/en/latest/jQuery参考文档： http://jquery.cuishifeng.cn/

初始化

初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件

字符串初始化

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
print(doc)
print(type(doc))
print(doc('li'))

 

由于PyQuery写起来比较麻烦，所以我们导入的时候都会添加别名：
from pyquery import PyQuery as pq

这里我们可以知道上述代码中的doc其实就是一个pyquery对象，我们可以通过doc可以进行元素的选择，其实这里就是一个css选择器，
所以CSS选择器的规则都可以用，直接doc(标签名)就可以获取所有的该标签的内容，
如果想要获取class 则doc('.class_name'),如果是id则doc('#id_name')....

URL初始化

from pyquery import PyQuery as pq

doc = pq(url="http://www.baidu.com",encoding='utf-8')
print(doc('head'))

 

文件初始化

我们在pq()这里可以传入url参数也可以传入文件参数，当然这里的文件通常是一个html文件，例如：pq(filename='index.html')

基本CSS的选择器

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
print(doc('#container .list li'))  # 选择最里层的

 

这里我们需要注意的一个地方是doc('#container .list li')，
这里的三者之间的并不是必须要挨着，只要是层级关系就可以,下面是常用的CSS选择器方法：

 
 
查找元素
 
 
子元素
children,find
代码例子：
 
 
 
  
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(type(items))   # <class 'pyquery.pyquery.PyQuery'>
print(items)
lis = items.find('li')
print(type(lis))     # <class 'pyquery.pyquery.PyQuery'>
print(lis)
 
 
 
 
 
 
 
从结果里我们也可以看出通过pyquery找到结果其实还是一个pyquery对象，可以继续查找，上述中的代码中的items.find('li') 则表示查找ul里的所有的li标签
当然这里通过children可以实现同样的效果,并且通过.children方法得到的结果也是一个pyquery对象

 
 
 
  
li = items.children()
print(type(li))
print(li)
 
 
 
 
 
 
 
同时在children里也可以用CSS选择器

li2 = items.children('.active') 
print(li2)



 
 
父元素
parent,parents方法

通过.parent就可以找到父元素的内容，例子如下：
 
 
 
  
html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)
 
 
 
 
 
 
 
通过.parents就可以找到祖先节点的内容，例子如下：
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
parents = items.parents()   # parent与parents区别一个是父节点，一个是父节点和祖先节点
print(type(parents))
print(parents)
 
 
 
 
 
 
 
结果如下：从结果我们可以看出返回了两部分内容，一个是的父节点的信息，一个是父节点的父节点的信息即祖先节点的信息

 
 
同样我们通过.parents查找的时候也可以添加css选择器来进行内容的筛选

 
 
兄弟元素siblings
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')
print(li.siblings())
 
 
 
 

代码中doc('.list .item-0.active') 中的.tem-0和.active是紧挨着的，所以表示是并的关系，这样满足条件的就剩下一个了：thired item的那个标签了
这样在通过.siblings就可以获取所有的兄弟标签，当然这里是不包括自己的
同样的在.siblings()里也是可以通过CSS选择器进行筛选


 
 
遍历
单个元素
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
# print(li)

lis = doc('li').items()  # 生成器，存了所有的li
# print(type(lis))
for li in lis:
    print(type(li))
    print(li)
 
 
 
 
 
 
 
运行结果如下：从结果中我们可以看出通过items()可以得到一个生成器，并且我们通过for循环得到的每个元素依然是一个pyquery对象。

 
 
获取信息
获取属性
pyquery对象.attr(属性名)
pyquery对象.attr.属性名
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.attr('href'))
print(a.attr.href)
 
 
 
 
 
 
 
所以这里我们也可以知道获得属性值的时候可以直接a.attr(属性名)或者a.attr.属性名


 
 
获取文本
在很多时候我们是需要获取被html标签包含的文本信息,通过.text()就可以获取文本信息
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')
print(a)
print(a.text())
 
 
 
 
 
 
 
获取html
我们通过.html()的方式可以获取当前标签所包含的html信息，例子如下
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(li.html())   # 结果为li标签里面的  <a href="link3.html"><span class="bold">third item</span></a>
 
 
 
 
 
 
 
DOM操作

 
 
addClass、removeClass
熟悉前端操作的话，通过这两个操作可以添加和删除属性
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.removeClass('active')
print(li)
li.addClass('active')
print(li)
 
 
 
 
 
 
 
attr,css
 
 
同样的我们可以通过attr给标签添加和修改属性，如果之前没有该属性则是添加，如果有则是修改我们也可以通过css添加一些css属性，这个时候，标签的属性里会多一个style属性
 
 
 
  
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.css('font-size', '14px')
print(li)
 
 
 
 
 
 
 
remove
 
 
有时候我们获取文本信息的时候可能并列的会有一些其他标签干扰，这个时候通过remove就可以将无用的或者干扰的标签直接删除，从而方便操作
 
 
 
  
html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
wrap.find('p').remove()
print(wrap.text())
 
 
 
 
 
 

 

转载于:https://www.cnblogs.com/cjj-zyj/p/10045001.html

                

        

        




    

  


    

      

        

            

              
                
                  weixin_30877181
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
如何使用PyQuery库？

				
			

			

				

					计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
				

				

					07-19
					
					474
					
				

			

		

		

			
				
​PyQuery是一个类似于jQuery的Python库，它提供了一种可用于解析和操作HTML文档的强大工具。如何使用PyQuery库呢，下面是使用PyQuery库的详细说明：

安装PyQuery
PyQuery库可以通过pip安装。在终端中运行以下命令即可安装：

pip install pyquery

导入PyQuery
​

			
		

	



                

            
              



	

		

			

				
					
Python 中 PyQuery 库

				
			

			

				

					既然选择远方，便只顾风雨兼程！
				

				

					02-27
					
					3943
					
				

			

		

		

			
				
文章目录PyQuery库一、 简介1、 概述2、 安装3、 导包二、 用法详解1、 初始化1.1 字符串初始化1.2 URL 初始化1.3 文件初始化2、 CSS选择器2.1 属性选择器2.2 节点选择器2.3 筛选选择器3、元素操作3.1 遍历元素3.2 获取属性值4、 样式操作4.1 修改样式5、 获取值5.1 获取属性值5.2 获取文本值5.3 获取 HTML 元素三、 总结
PyQuery库
一、 简介
1、 概述
pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析

			
		

	



              


  
              

                


	

		

			

				
					
一起学爬虫——PyQuery常用用法总结

				
			

			

				

					weixin_30622181的博客
				

				

					12-03
					
					1783
					
				

			

		

		

			
				
什么是PyQuery
PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。
初始化PyQuery对象
html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要...

			
		

	





	

		

			

				
					
pyquery 库的使用

				
			

			

				

					diemo4425的博客
				

				

					08-19
					
					93
					
				

			

		

		

			
				
1 from pyquery import PyQuery as pq
 2 # 文件勿命名为 pyquery.py，会发生冲突
 3 
 4 # 字符串初始化
 5 html = '''
 6 <div id="page">
 7     <div id="car_test">
 8         <ul class="menu-li...

			
		

	



		

			
		



	

		

			

				
					
PyQuery库使用详解。

				
			

			

				

					yihuliunian的博客
				

				

					09-14
					
					272
					
				

			

		

		

			
				
转自：http://www.pinlue.com/article/2020/09/0900/1211212911516.html


			
		

	





	

		

			

				
					
爬虫（十二）：pyquery库的使用

				
			

			

				

					spider_man
				

				

					03-30
					
					296
					
				

			

		

		

			
				
https://www.cnblogs.com/lei0213/p/7676254.html  详解

attr() 方法设置或返回被选元素的属性值。
例如：

#coding=utf-8
from pyquery import PyQuery as pq

html_str='&lt;div class="nn"&gt;&lt;ul href="www.baidu.com"&gt;&lt;li ...

			
		

	





	

		

			

				
					
PyQuery用法详解

				
			

			

				

					utopianist的博客
				

				

					11-29
					
					1473
					
				

			

		

		

			
				
本文转自：

https://blog.csdn.net/jeremyjone/article/details/80450236


前言
PyQuery 是灵活而又强大的网页解析库，而在爬虫框架 PySpider 和 Scrapy 中又随处可以 PyQuery 的身影。
本节，我们通过一连串的极其简易的实例，来深入学习 PyQuery。
那我们开始吧！
一、初始化方式
有三种，可以传入字符串，传...

			
		

	





	

		

			

				
					
Python中的jquery PyQuery库使用小结

				
			

			

				

					12-25
				

			

		

		

			
				
pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，使用方法：复制代码 代码如下:from pyquery import PyQuery as pq1、可加载一段HTML字符串，或一个HTML文件，或是一个url地址，例：复制代码 代码如下:d ...

			
		

	





	

		

			

				
					
python pyquery 基本用法

				
			

			

				

					麻辣隔壁4的博客
				

				

					10-29
					
					809
					
				

			

		

		

			
				
1.安装方法

						
pip install pyquery

						2.引用方法

						
from pyquery import PyQuery as pq

						3.简介

						　pyquery 是类型jquery 的一个专供python使用的html解析的库，使用方法类似bs4。

						4.使用方法

						　　4.1 初始化方法：

						
from pyquery import PyQuery as pq
doc =p...

			
		

	





	

		

			

				
					
python爬虫从入门到放弃（七）之 PyQuery库的使用

				
			

			

				

					weixin_33860528的博客
				

				

					06-02
					
					907
					
				

			

		

		

			
				
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。
官网地址：http://pyquery.readthedocs.io/en/latest/jQuery参考文档： ...

			
		

	





	

		

			

				
					
Python分析网页神器pyquery

				
			

			

				

					TaiJi1985的专栏
				

				

					04-27
					
					2767
					
				

			

		

		

			
				
关于pyquery相信做web的没有不知道jQuery的。它是那么的方便，功能强大。 它的一大特点就是它的选择器。 
pyquery是一个模仿jquery的python编写的分析网页的类库。它的接口完全模仿了jquery。pyquery的文档pyquery文档测试import urllib
from pyquery import PyQuery as pq
import codecs
# fetch

			
		

	





	

		

			

				
					
Python3网络爬虫(五) -- 爬虫解析库LXML、BeautifulSoup、PyQuery

				
			

			

				

					凡凡不知所错
				

				

					01-15
					
					948
					
				

			

		

		

			
				
解析库会按照层次来提取，所以效率会大大的提升
XPath(LXML)：
首先先安装LXML库
常用规则：




表达式
用法




nodename
选取此节点的所有子节点


/
从当前节点选取直接子节点


//
从当前节点选取子孙节点


.
选取当前节点


…
选取当前节点的父节点


@
选取属性


例子：//title[@lang=’eng’] 表示所有标签为title，并且l...

			
		

	





	

		

			

				
					
pyquery库用法总结

				
			

			

				

					Yang's Blog
				

				

					07-07
					
					320
					
				

			

		

		

			
				
目录一. 导入库二. 初始化1.将url作为参数2.将字符串作为参数3.将文件作为参数三. 查找节点补充:基本CSS选择器A.查找子节点1.使用item.find()即可在子孙中找到对于tag的所有标签2.使用item.children()即可只查找儿子节点B.查找父节点1. 使用item.parent()即可查找某个节点的父节点2. 使用item.parents()即可查找某个节点的祖先节点C. 查找兄弟节点四. 获取信息1.获取属性:a.attr('href') / a.attr.href2.获取文本:

			
		

	





	

		

			

				
					
pyquery解析器的使用

				
			

			

				

					weixin_43143740的博客
				

				

					09-10
					
					151
					
				

			

		

		

			
				
pyQuery解析器
pyquery解析器简介
pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手
pyquery的安装与使用
我们可以使用命令:pip3 install pyquery来安装它
**注意:**由于 pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失...

			
		

	





	

		

			

				
					
Pyquery对象中CSS用法

				
			

			

				

					ZHH_Love123的博客
				

				

					10-25
					
					715
					
				

			

		

		

			
				
Pyquery对象中CSS选择器的用法

首先将HTML转为Pyquery对象在用css选择器

doc = pq(html)
print(doc('#con .list li'))选id是con 然后在选内部 class为list 节点内部所有li节点
item = doc('.list') 

子节点
find（）方法  item.find（‘li’）符合条件的所有子孙节点  
childre...

			
		

	





	

		

			

				
					
【Python】爬虫PyQuery使用详解

				
			

			

				

					May女子の博客
				

				

					05-14
					
					1000
					
				

			

		

		

			
				
1.安装方法
pip install pyquery
2.引用方法
from pyquery import PyQuery as pq
3.简介
pyquery 是类型jquery 的一个专供python使用的html解析的库，使用方法类似bs4。
4.使用方法
4.1 网址响应初始化方法：
from pyquery import PyQuery as pq
doc =pq(html)      ...

			
		

	





	

		

			

				
					
Python中PyQuery库的使用总结

					
热门推荐

				
			

			

				

					myKernel
				

				

					03-27
					
					4万+
					
				

			

		

		

			
				
pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，我个人写过的一些抓取网页数据的脚本就是用它来解析html获取数据的。他的官方文档地址是：http://packages.python.org/pyquery/。今天重新看了一遍整个文档，把它的一些使用方法整理了一下，做个记录。
使用方法
from pyquery import PyQuery as pq
1.可加

			
		

	





	

		

			

				
					
Python PyQuery库详解：jQuery风格的HTML处理

				
			

			

				

					
				

			

		

		

			
				
"本文主要介绍Python中的PyQuery库，它是一个类似于jQuery的...PyQuery库为Python开发者提供了一个强大且易于使用的工具，它简化了XML和HTML文档的处理，使得在Python中进行网页抓取、数据提取和DOM操作更加得心应手。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值