页面解析与数据提取
结构化数据:json(先有结构再有数据)
转化成字典直接解析
非结构化数据:html(先有数据,再有结构)
正则表达式
XPath路径表达式
css选择器
XPath路径表达式介绍:
xml文件中的结点选择,适用于html
nodename:选取元素的所有子结点
/nodename:在根结点选取
//nodename:在整个文档中选取
. :选取当前结点
.. :选取当前结点的父结点
@:选取属性
lxml库
html/xml解析器,利用XPath语法快速定位特定元素以及结点信息
安装:
pip install lxml
导入模块:
from lxml import etree
传入要解析的文本text,lxml工具会将文本解析成hxml,其中有标签缺失会自动进行补全
html = etree.HTML(response.text)
再通XPath语法进行结点匹配
import requests
from lxml import etree
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 '
'Safari/537.36 '
}
response = requests.get('https://www.baidu.com', headers=headers)
html = etree.HTML(response.text)
# print(etree.tostring(html))
result = [html.xpath('/html'), html.xpath('//div[@class="s-p-top"]')]
print(result)
lxml特殊方法应用
可以用于筛选和显示元素
@表示属性,()表示方法
其子标签中的内容不会显示
可以把方法也看成是一个结点
可以作为条件进行筛选
text:文本获取
result1 = html.xpath('//div/text()')
result2 = html.xpath('//div[text()="音乐"]')
print(result1)
print(result2)
执行结果
contains:包含
class属性中包含“s-top-” 的div元素;内容中包含“百度”的div;
这里用text方法获取了标签里的内容
result3 = html.xpath('//div[contains(@class,"s-top-")]/text()')
result4 = html.xpath('//div[contains(text(),"百度")]/text()')
百度贴吧图片下载
1. 获得网页内容
2. 解析html,提取img标签里的src属性(图片的url)
3. 遍历获取
执行结果
代码
import requests
from lxml import etree
index_url = 'https://tieba.baidu.com/p/8180680881'
response = requests.get(index_url).text
selector = etree.HTML(response)
images_urls = selector.xpath('//img[@class="BDE_Image"]/@src')
offset = 0
for images_url in images_urls:
image_content = requests.get(images_url).content
with open('{}.jpg'.format(offset), 'wb') as f:
f.write(image_content)
offset = offset + 1