页面解析工具

BS4

可以从html或xml文件中提取数据的python库

from bs4 import BeautifulSoup
html_data=''
soup=BeautifulSoup(html_data,'lxml')
#取到第一个a标签所有信息
print(soup.a)
#取到第一个a标签里的文本信息
print(soup.a.text)
print(soup.a.string)  #两种方法都可以取到标签文本里的内容 但是类型不一样 可用type查看
#取到a标签栏href属性里信息
print(soup.get('href'))
#子代标签
body=soup.body
print(body.children) #得到一个迭代器
print(list(body.children)) #通过list来获取信息 换行符也会出现（/n）
#后代标签
k=prin(list(body.descendants))
li=[]
for i in k:    #去除/n
    if i =='/n'
        continue
    li.append(i)
print(li)
#兄弟标签（同级的标签，有相同的父标签）
span=body.span
print(span,next_sibiling.next_sibiling) #找到span下下一个兄弟标签
print(span,previous_sibiling) #找到span上一个兄弟标签
#父类标签
a_parents=soup.a.parents #如果加s 找的就是他所有父标签
a_parent=soup.a.parent   #如果不加s 找的就是他自己

#find_all
print(soup.find_all('a',string='xwx')) #找到文本内容为xwx的a标签
print(soup.find_all('span',arrtrs={'class'='pl'}))
print(soup.find_all('a',recursive=ture)) #所有后代里去找a标签
print(soup.find_all('a',recursive=false)) #只在子代里去找a标签

#css选择器
print(soup.select('span >a'))

jsonpath(数据,'语法')

#如果dic类型里想找的数据太多用get会很麻烦
dic.get('videoinfo').get('video').get('srcurl')
#使用jsonpath比较简单 使用'$..'+想要找的内容就可以
jsonpath.jsonpath(dic,'$..srcurl')
jsonpath.jsonpath(dic,'$..video.srcurl') #通过打.可以只查找该目录下的