前几天,有老铁留言说能不能VIP小说?-我回复说他是"坏人",因为我觉得他不尊重别人的劳动成果,如果是免费的,我倒可以考虑。
于是,我上网找呀找,搜呀搜,看有没有免费版,而且是大家都喜欢看的免费小说,爬下来,放在手机上看。经过终于让我找到了近几年特别火的、免费版的《盗墓笔记》。
6.1 爬取目标
用Chrome浏览器,打开http://seputu.com网址的那一刻,小伙伴们都惊呆了,第1部到第8部都有。爬取内容:把书名,章节名称,章节链接抽取出来,同时将每个文章的内容提取出来,保存成txt文件。将书名作为文件夹名称,将章节名称作为txt文件名。
![61a72bd841b42f20f03a6c09b098b895.png](https://i-blog.csdnimg.cn/blog_migrate/11d6fb932e0180d678b3f9394974df59.jpeg)
6.2 节点定位
用F12查看源代码,你会发现htm的页面l结构非常分明,书名的html节点是// div[ @ class = "mulu-title"] / center / h2里面,章节节点的内容(章节名称和链接)是// div[ @ class = "box"] / ul标签中。Xpath规则挺简单的。