python爬取重名div_第6天 | 10天搞定Python网络爬虫，爬盗墓笔记，牛

前几天，有老铁留言说能不能VIP小说？-我回复说他是"坏人"，因为我觉得他不尊重别人的劳动成果，如果是免费的，我倒可以考虑。

于是，我上网找呀找，搜呀搜，看有没有免费版，而且是大家都喜欢看的免费小说，爬下来，放在手机上看。经过终于让我找到了近几年特别火的、免费版的《盗墓笔记》。

6.1 爬取目标

用Chrome浏览器，打开http://seputu.com网址的那一刻，小伙伴们都惊呆了，第1部到第8部都有。爬取内容：把书名，章节名称，章节链接抽取出来，同时将每个文章的内容提取出来，保存成txt文件。将书名作为文件夹名称，将章节名称作为txt文件名。

6.2 节点定位

用F12查看源代码，你会发现htm的页面l结构非常分明，书名的html节点是// div[ @ class = "mulu-title"] / center / h2里面，章节节点的内容(章节名称和链接)是// div[ @ class = "box"] / ul标签中。Xpath规则挺简单的。