#使用pyquery
#1、初始化
#他的初始化方式多种,比如直接传入字符串、URL,文件名等
#(1)字符串初始化
# text = """
# <html><head><title>The Dormouse's story</title></head>
# <body id="abs">
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
# <p class="story" id ="qwe">Once upon a time there were three little sisters; and their names were
# <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
# <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
# <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
# and they lived at the bottom of a well.</p>
# <p class="story">...</p>
# """
# from pyquery import PyQuery as pq
# doc = pq(text)
# # print(doc)
# print(doc("p")("a"))
#URL初始化
# from pyquery import PyQuery as pq
# doc = pq(url="https://cuiqingcai.com")
# print(doc("title"))
#文件初始化
from pyquery import PyQuery as pq
doc = pq(filename="./BStest.html")
# print(doc("head"))
#基本CSS选择器
# print(doc('#abs .title b')) #意思是查询 id=abs的节点下class = 'title'节点下的b节点
#查找节点
#查找子孙节点 find(节点名) 它查找的是所有子孙节点中的节点
# a = doc("#abs")
# # print(a)
# b = a.find("b")
# print(b)
#只查找子节点 children(节点名)
# a = doc("#abs")
# # b = a.children('b')
# # print(b) #找不到
# b = a.children("p")
# print(b) #找的到
#要筛选子类中符合条件的数据
# a = doc("#abs")
# # b = a.children("#qwe") #查b中Id = qwe 的节点,用法与前面相同
# b = a.children("#qwe .sister")
# print(b)
#父节点
#使用parent()方法获取某个节点的父节点 不会去找祖先节点
# a = doc("#abs #qwe .sister")
# # print(a)
# b = a.parent()
# # print(b)
# c = b.parent()
# print(c)
#使用parents()方法获取某个节点的祖先节点
# a = doc("#abs .story .sister")
# b = a.parents()
# print(b)
#兄弟节点 使用siblings()方法
# a = doc("#abs .title")
# b = a.siblings()
# print(b) #这里打印出了body节点下的两个同级的节点b
#遍历
#对于单个节点可以直接输出,当结果有多个节点能够匹配呢?
# a = doc("#abs .story .sister")
# b = a.items()
# print(next(b))
# print(next(b))
# print(next(b))
#6、获取属性
#提取到某个节点后,可以调用attr()方法来获取属性
# a = doc("#abs .title")
# # b = a.attr("name")
# b = a.attr.name 与上面功能相同
# print(b)
#当能获取多个匹配节点时,使用attr()方法只能获取第一个匹配的值,如果想全都获取得遍历
# a = doc("#abs #qwe .sister")
# b = a.items()
# for x in b:
# print(x.attr('href'))
#获取文本
#获取文本后的另一个操作就是获取文本,可以使用text()方法实现 #它会将所有匹配到的结果都输出 #如果想要其中一个就得遍历
# a = doc("#abs .story .sister")
# b = a.items()
# for x in b:
# print(x.text())
#7、节点操作
#pyquery提供了一系列的方法对节点进行动态修改
#addClass 和removeClass
# a = doc("#abs .story")
# print(a.attr("class"))
# a.removeClass("story")
# print(a)
# a.add_class("story")
# print(a)
# a.add_class("1") #这次添加的放在了一起,中间有个空格<p class="story 1" id="qwe">
# print(a)
#attr、text和html attr(字符串a,字符串b)添加属性 text(str)将str字符串添加到文本中 html()将网页添加到字符串中
#a = doc("#abs .sister")
# print(a.attr("id","11")) # <a class="sister" href="http://example.com/lacie" id="11"> 所有匹配到的结果都被添加了
# print(a.text("111111111111111111111111"))#<a class="sister" href="http://example.com/elsie" id="link1">111111111111111111111111</a> 所有匹配到的都添加了
# print(a.html("<a1>123213</a1>")) #所有文本内容中加入了网页
#remove()移除节点
# a = doc("#abs")
# a.find("p").remove() #得找到子节点进行删除操作
# print(a)
#8、伪选择器
#CSS选择器之所以强大,还有一种原因是因为它支持多种多样的伪类选择器,例如选择第一个节点、最后一个节点、奇数偶数节点、包含某一文本的节点等
# c = doc("#abs .story .sister:first-child") #选择class = sister能匹配到的第一个节点
# print(c)
# c = doc("#abs .story .sister:last-child") #选择class = sister能匹配到的第一个节点
# print(c)
# c = doc("#abs .story .sister:nth-child(2)") #选择class = sister能匹配到的第二个节点(括号内写几就是匹配第几个)
# print(c)
# c = doc("#abs .story .sister:gt(1)") #匹配很奇怪,负数全都匹配,(0)匹配到了后两个(1)匹配到了最后一个
# print(c)
# c = doc("#abs .story .sister:nth-child(3n)") #选择class = sister能匹配到的n的3倍(能被3整除的)
# print(c)
# c = doc("#abs .story .sister:contains(i)") #选择class = sisterz中文本包含“i”的节点
# print(c)
python3网络爬虫学习4.3pyquery的使用学习
最新推荐文章于 2021-06-29 22:40:18 发布