本文介绍了XPath的基本用法，包括通过lxml库获取文本和属性值，以及处理特殊情况如相同字符串开头和属性值包含相同字符串。通过实例对比，展示了XPath相对于BeautifulSoup在爬取速度上的优势。此外，文章还探讨了使用multiprocessing库实现多进程爬虫的方法，通过分配进程池提升爬取效率。
@兰博怎么玩儿
本文介绍：本文介绍Xpath语法，并用一个实例对比BeautifulSoup与Xpath的爬取速度，最后我们再介绍如何多线程地运行爬虫程序。
1、Xpath的使用
1.1 基本用法
Xpath需要第三方库：lxml。其语法是：
获取文本：
//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/.../text()
获取属性值
//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/.../@属性n
Xpath可以通过以下方式获取：
1、鼠标放到网页上待抓取数据上（这里是糗事百科用户id），右键，检查。
2、开发工具中，右键所选元素，Copy–Copy-XPath
这样可以复制粘贴使用Xpath：
from lxml import etree
res = requests.get(url, headers=headers)
selector = etree.HTML(res.text)
url_infos = selector.xpath('//div[@class="article block untagged mb15"]/div[1]/a[2]/h2/text()')[0]
注意，第一个div标签为div[1]而不是div[0]。
1.2 特殊情况
- 相同字符串开头
<body>
<div id="test-1">需要的内容1</div>
<div id="testuseful">需要的内容2</div>
<div id="useless">不需要的内容</div>
</boidy>
假如有如上HTML代码，要抓取需要的内容1，需要的内容2，可以利用start-with(@属性名,“相同的开头部分”)来获取：
//div[start-with(@id,"test")]/text()
- 属性值包含相同字符串
最低0.47元/天 解锁文章
扫一扫
1954
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
