菜鸟教程python爬虫小说_python爬虫——40行代码爬取「笔趣看」全部小说

需求分析

”笔趣看“ 是一个盗版小说网站，这里有各大知名小说网站的小说，更新速度略慢于正版网站。但是该网站只支持在线浏览，不支持小说下载，对于想要下载下来以防断网或者网速不好时也能看的童鞋来说不太友好。因此，本次练习将爬取该网站所有小说。PS：本次练习仅为学习交流，请各位童鞋支持正版。

爬取目标

本次练习将爬取 “笔趣看” 你想要的任何小说。

准备工作

本次练习将使用 requests 库(python使用最多的库)作者 kennethreitz 今年最新力作 request_html 库。集网页抓取与解析于一体。想了解更多的可以关注我，我将准备将相关文档翻译并与现有库进行对比。

请确保电脑安装了 python3.6 和requests_html。(具体安装方法请自行百度)

爬取分析

我们先随便找一本小说的第一章内容进行分析。

在这里还是要推荐下我自己建的Python开发学习群:304050799，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入，大家都是软件开发党，不定期分享干货(只有Python软件开发相关的)，包括我自己整理的一份2018最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴

第一章内容

用代码获取全部文本信息：from requests_html import HTMLSessionurl = 'http://www.biqukan.com/53_53276/20760231.html'session = HTMLSession()res = session.get(url)content