好的，下面我来介绍一下如何使用 Python 的 XPath 爬取
评书网的数据。
首先，我们需要安装 requests 和 lxml 库。可以使用以下命令进行安装：
```
pip install requests lxml
```
接下来，我们需要使用 requests 库发送请求并获取
评书网的 HTML 页面。我们可以使用以下
代码：
```python
import requests
url = 'http://www.pingshu8.com/'
response = requests.get(url)
if response.status_code == 200:
html = response.text
print(html)
else:
print('请求失败')
```
接下来，我们需要使用 lxml 库来解析 HTML 页面。我们可以使用以下
代码：
```python
from lxml import etree
html = '<html><body><div><h1>hello world</h1></div></body></html>'
selector = etree.HTML(html)
result = selector.xpath('//h1/text()')
print(result)
```
上面的
代码中，我们首先使用 etree.HTML() 函数将 HTML 页面转换为 Element 对象，然后使用 xpath() 方法获取我们想要的数据。
接下来，我们需要找到
评书网页面中我们需要爬取的数据的 XPath 路径。你可以使用 Chrome 浏览器的开发者工具来查找 XPath 路径。具体步骤是：
1. 打开
评书网页面
2. 右键点击需要爬取的数据区域
3. 选择“检查”，打开开发者工具
4. 在开发者工具中找到相应的 HTML 元素
5. 右键点击该元素，选择“Copy XPath”即可复制该元素的 XPath 路径
例如，我们想要爬取
评书网首页的所有分类名称和链接，我们可以使用以下
代码：
```python
import requests
from lxml import etree
url = 'http://www.pingshu8.com/'
response = requests.get(url)
if response.status_code == 200:
html = response.text
selector = etree.HTML(html)
# 获取所有分类名称和链接
categories = selector.xpath('//div[@id="nav"]/ul/li/a/text()')
links = selector.xpath('//div[@id="nav"]/ul/li/a/@href')
for i in range(len(categories)):
print(categories[i], links[i])
else:
print('请求失败')
```
上面的
代码中，我们使用了 XPath 路径 `//div[@id="nav"]/ul/li/a/text()` 和 `//div[@id="nav"]/ul/li/a/@href` 来获取所有分类名称和链接。
希望这个示例能够帮助你学习如何使用 XPath 爬取
评书网的数据。
扫一扫
3773
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
