爬虫——利用xpath插件爬取段子

最新推荐文章于 2021-12-28 20:54:54 发布

大神，起风了

最新推荐文章于 2021-12-28 20:54:54 发布

阅读量450

点赞数

分类专栏：爬虫文章标签： xpath插件爬取

本文链接：https://blog.csdn.net/Light__1024/article/details/88691349

版权

本文总结了如何利用XPath插件从网络上爬取段子。通过理解XPath返回的列表和元素对象，我们可以进行索引取值。在获取HTML内容时，对于网络数据使用etree.HTML()，本地文件则使用etree.parse()。在编写XPath语法时，推荐使用插件进行测试以确保正确性。推荐学习资源：《https://www.cnblogs.com/foremostxl/p/10066312.html》

摘要由CSDN通过智能技术生成

# 项目需求：利用Xpath 获取段子的内容和作者  https://ishuo.cn/joke 
import requests
from lxml import etree

# 指定url
url='https://ishuo.cn/joke'
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

# 发起页面请求
response=requests.get(url=url,headers=headers)

# 获取页面内容
page_text= response.text

# 数据解析
tree=etree.HTML(page_text)
# 获取所有的内容标签 用插件先测试语法 
# xpath()函数返回的是列表,列表元素是element对象，可以继续调用xpath函数继续解析
#  ./ 表示标签下

li_list = tree.xpath('//*[@id="list"]/ul/li')
    
#持久化存储
with open('./duanzi.txt','w',encoding='utf-8') as f:
    for li in li_list:
        content = li.xpath('./div[@class="content"]/text()')[0]
        title = li.xpath('./div[@class="info"]/a/text()')[0]
        f.write(title+"："+content+"\n\n"