[python]用爬虫下载某站小说并生成epub格式电子书(用mkepub库)

参考这篇文章

最近沉迷看网络小说,苦于部分网站用手机浏览器看很不方便、不能同步阅读进度,更重要的是在电梯车库等地方手机都没信号,因此准备用爬虫爬下来看.

其实TXT版本的电子书比较好找,但是没有目录什么的,很难受.因此选择epub格式的电子书,对于kindle用户可以用calibre转换成mobi或直接使用官方转换推送一条龙服务.

前面的参考博客里推荐的是使用pandoc软件实现有格式的TXT文件转换至epub,挺简单,但是没有首行缩进很不舒服.

研究了很久pandoc的模板和css,也没实现首行缩进,最终决定换个方式.

pandoc会把正文放进code标签内,找不到实现缩进的css代码,如果有办法实现,也可以通过自定义css的方式.

搜索许久找到一个介绍还算比较清楚的库mkepub,记录一下踩到的坑.

从网站爬内容,在参考博客里写的很清楚,不再多说,根据网站实际情况清洗就好了.

爬到正文以后,先将NBSP替换成空格,之后根据实际情况拆分成列表.
爬取和清洗的代码如下:

    def _get_web(self,url):
        res=S.get(url) # S是requests.session()
        res.encoding='gbk' # 该网站编码是'ISO-8859-1',会有乱码
        soup=BeautifulSoup(res.text, "html.parser")
        return soup

       def _anl_web(self,this_url:str):
        url=self.url_basic+this_url
        soup=self._get_web(url)

        title=soup.select('#content > div > div.h1title > h1')[0].getText() # select 参数根据实际情况确定
        content = soup.select('#htmlContent')[0].getText().split('\r\n')[1].replace(' ',' ').strip().split('    ') # replace第一个参数实际上是 NBSP

        next=soup.select('#pager_next')[0]
        next_url = next.get('href')
        next_title = next.getText