最近在掌阅上看到推荐了一部小说,但是是付费的。而且手机看小说确实伤眼,然后百度搜了下,发现网上有。但是网上也伤眼,关键是广告贼多。so~正好在学python,打算试一下万一就成功了呢。
于是,百度是个好东西。我发现整个过程中只用到了一个库
BeautifulSoup
然后BeautifulSoup里面呢有两个方法,用来分析HTML里面的标签
1. find 找到第一个指定的标签
2. find_all 找到所有的指定的标签,返回一个列表
说下这次的思路:
首先给个网址,关于这本小说的目录的地址。然后把所有目录抓下来,根据目录来抓取每一章的内容,依次写到文本文档里面。
然后目录也是很有规律的。找到格式抓下来放在一个列表里面就好啦。
然后重点来了,其实小说什么的,文字内容其实都是一片一片的,非常有规律。所以只用查看源码观察一下就很容易找到规律啦。举个例子,我这次的是抓的重生八万年。其中有很多网站都有免费的这个小说。所以我选了几个。其中一个是utf-8编码的,也有gbk编码格式的。
比如说这个:’http://www.3qzone.com/26_26978/’ 这个网站是gbk编码的。然后小说内容放在div模块里面的。id= content。所以就盯着这个家伙干吧~
import requests
from