python下载小说网站的小说,python下载小说的代码

大家好,本文将围绕python下载小说网站的小说展开说明,python下载小说的代码是一个很多人都想弄明白的事情,想搞清楚python电子书下载需要先了解以下几个事情。

 

突然想看《仙剑问情》,网上又下载不到完整的txt版,看到“爱上中文”网有分章节在线版,于是有了写个爬虫下载小说的想法具体代码如下:

import urllib.request
import re as re 
txt=''
#下载页面
def getSrc(url):
    html_src = urllib.request.urlopen(url).read().decode('GBK')
    return html_src
#找到页面中的url
def findUrls(html):
    splitM=html.split('\r\n')
    for line in splitM:
        if '正文' in line:
            UrlList=re.findall("(\d{8}.html)",line)
    return UrlList
#获取页面正文,也就是小说正文
def getContent(html):
    splitS=html.split('\r\n')
    for line in splitS:
        if 'title' in line:
            title=line.replace('title>仙剑问情_正文 ','').replace('</title>','').replace('_爱上中文','')
            print('now is process at ' +title)
        if 'contents' in line:
            txt='\r\n'+title+'\r\n'+line.replace(" ","").replace("<br />","").replace("<div id=\"contents\">","").replace("</div>","")+'\r\n'
            break
    return txt
#程序入口
mainUrl='http://www.aszw.com/book/50/50517/'
urlList=findUrls(getSrc(mainUrl))
for url in urlList:
    novelUrl=mainUrl+url
    txt+=getContent(getSrc(novelUrl))
#print(txt)
wfile=open('F:\仙剑问情.txt','w')
wfile.write(txt)
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值