需求目标
介绍使用 requests 库与 lxml 库进行简单的网页数据爬取普通框架与爬虫实例,本文以爬取网页连载小说《撒野》为例~
当然有很多小说基本都能找到现成的 .txt 或者 .mobi 文件,不过有些又是注册登录,又是关注公众号啥的,我干脆写几行代码自己爬下来,之后有需要略微改下网页链接就行,一劳永逸~哈哈哈哈
requests+lxml 爬虫框架
1、一般通过 requests 库的 get(url, headers = header) 方法获取 html 页面,可以根据状态码判断是否请求成功(我一般自己爬点需要的东西就行了,所以没有判断);
2、通过 lxml 库对请求的到的数据进行 XPath 解析,获取想要的数据内容;
3、对爬到的数据进行后续处理,我一般存到 .txt 文件或者数据库备用;
4、多个页面的话,for 循环重复过程搞定。
爬虫实例
此处以《撒野》为例进行爬取~
通过百度得到一个全文免费阅读网站,点进去是这样的,发现是一章一章的内容,很棒,选择第一章。
点进去就是正文啦,正文的最后一般都有"