参考这篇文章
最近沉迷看网络小说,苦于部分网站用手机浏览器看很不方便、不能同步阅读进度,更重要的是在电梯车库等地方手机都没信号,因此准备用爬虫爬下来看.
其实TXT版本的电子书比较好找,但是没有目录什么的,很难受.因此选择epub格式的电子书,对于kindle用户可以用calibre转换成mobi或直接使用官方转换推送一条龙服务.
前面的参考博客里推荐的是使用pandoc软件实现有格式的TXT文件转换至epub,挺简单,但是没有首行缩进很不舒服.
研究了很久pandoc的模板和css,也没实现首行缩进,最终决定换个方式.
pandoc会把正文放进code标签内,找不到实现缩进的css代码,如果有办法实现,也可以通过自定义css的方式.
搜索许久找到一个介绍还算比较清楚的库mkepub,记录一下踩到的坑.
从网站爬内容,在参考博客里写的很清楚,不再多说,根据网站实际情况清洗就好了.
爬到正文以后,先将NBSP替换成空格,之后根据实际情况拆分成列表.
爬取和清洗的代码如下:
def _get_web(self,url):
res=S.get(url) # S是requests.session()
res.encoding='gbk' # 该网站编码是'ISO-8859-1',会有乱码
soup=BeautifulSoup(res.text, "html.parser")
return soup
def _anl_web(self,this_url:str):
url=self.url_basic+this_url
soup=self._get_web(url)
title=soup.select('#content > div > div.h1title > h1')[0].getText() # select 参数根据实际情况确定
content = soup.select('#htmlContent')[0].getText().split('\r\n')[1].replace(' ',' ').strip().split(' ') # replace第一个参数实际上是 NBSP
next=soup.select('#pager_next')[0]
next_url = next.get('href')
next_title = next.getText