qq_52319405的博客

原创 爬虫学习心得

Requests官方文档中关于Requests的介绍是：Requests是一个优雅而简单的Python HTTP库，是为人类构建的。在python环境中对小说进行爬取，一般需要安装爬虫所需的第三方库，目前我所使用的为BS4和Requests。试验BS4与lxml能否正常运行，data表示要解析的内容，而lxml则是解析文档内容所使用的解析器。6.检查不同章节href标签的相似之处，通过循环遍历的方式，来自定义想要爬取的章节数量。由于爬取的数据过多，这里不做赘述，由此requests库正常运行。