python爬虫之 XPath 结合 requests 爬取豆瓣网站 存储格式可选 有 json、csv、txt

因为项目需要，最近在爬取非遗相关的网站，但目标url 有做源码的保护，不同元素的辨识度特别低，点开审查网页，好几个关键字都是cye-Im-tag
所以就打算用XPath获取详细的节点信息
嘻嘻，这边引用大佬wsmrzx的爬取猫眼电影TOP250数据文章
废话不多说，上链接 猫眼爬取

大佬写得很详细，user-agent改一下即可哈
（直接在浏览器中输入链接：about：version 就能显示哈，大部分浏览器都能这样获取到）

关于lxml库和requests库的安装

只需要执行：
pip install lxml

不知道为什么，使用这个命令安装，一次成功的很少，不知道为啥，就是各种报错

那就先执行命令，安装wheel库
pip install wheel

然后再执行上一个cmd就OK啦

wheel有官网，但直接用pip安装简单粗暴，哈哈哈

=== requests库的安装 ===

无论是Windows、Mac、还是Linux，都可以通过pip这个包管理工具进行安装
在命令行界面中运行如下命令，即可完成requests库的安装
pip3 install requests
或者 pip install requests

友情tip

爬取结果保存成txt格式，比较麻烦，特别是要导入数据库的