最近迷上了天蚕土豆写的《大主宰》这本玄幻小说,无奈找不到下载链接。于是就萌生了自己爬取小说章节的想法,代码其实很简单,主要在于分析网页结构、正则匹配以及文件保存.
1. 分析网页结构
爬取小说主要需要爬取章节、正文,以及能保证爬取到所有的章节。以《大主宰》为例,其网页结构如下:
可以看到小说正文包含在一个id为content的div里,这极大的帮助了我们的爬取.章节名称保存在一个名为readtitle的js变量中.下一页的url位于a标签的href属性中
2. 正则匹配
通过分析网页结构,可以得到如下正则表达式:
* 章节名: readtitle = "(.+?)"
* 正文: <div id="content">(.+?)</div>
* 下一章:→ <a href="(.+?)">
如果当前章节是最新章节,那么其下一章的url是以 / 开头的,我们可以根据这个判断章节是否是最新章节.
3. 运行结果
以爬取《大主宰》为例,截至至6月30号,其最新章节为第一千两百五十四章 最后的赢家
,爬取其小说内容,保存为txt文件,测试结果如下:
4. 附录
你可以通过jslinxiaoli@foxmail.com
联系我.
欢迎在github或者知乎上关注我 ^_^.
也可以访问个人网站: https://jslixiaolin.github.io
源代码如下: