本文通过实例讲解如何使用Python爬虫获取付费小说的章节名称和链接，涉及XPath、requests和pandas等库的使用。在爬取过程中遇到了网站反爬策略，尝试了设置user-agent和使用sleep函数，但并未实现完整爬取。
电视剧更新太慢，就在网上找了下原著看。
一、准备工作
就点击了第一个结果。
看到了浏览器地址栏的网址，要养成一个习惯，确认是否是真实的网址。
点击右键检查(Chrome浏览器)，Network—>Doc—>Name(找到网址后面相同的名字)—>Headers—>General：里面的Request URL是和浏览器地址栏的一致，我们也知道了Request Method 的方法是GET了。
我们在Jupyter Notebook里新建New一个Python3文件，导入库文件，分别是为了使用xpath(etree)，访问网络资源(requests)和处理数据结构(pandas)。
把网址赋给一个变量，requests通过GET方法获取网页源代码text，并用etree.Html实例化。实例化的意思就是：人是一个概念，你是人的一个实例化。
二、一个章节的名称和链接地址
最低0.47元/天 解锁文章
扫一扫
6989
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
