闲来无事, 不, 其实我事很多. 但是看到一个好玩的东西就手痒了.
www.wuxiaworld.com 国外的中文奇幻小说翻译网站
在这个网站上, 我看过且发誓以后再也不会看的 盘龙 赫然在目…思索良久, 本着学习英语, 天天向上的态度, 我决定把它下载下来, 好好把玩一番.
但是, 这个网站是不提供下载的, 而且是每一章一个网页. 八百多章, 科科…
于是决定写个爬虫爬下来, 分析一下盘龙主页:(http://www.wuxiaworld.com/cdindex-html/)
每个章节都有一个链接, 比如Chapter 1是
http://www.wuxiaworld.com/cdindex-html/book-1-chapter-1
Chapter 2为
http://www.wuxiaworld.com/cdindex-html/book-1-chapter-2
于是思路出来了, 爬取该页面所有相关的链接, 然后循环读取链接对应html, 爬取文本数据.
但是, 当我使用之前的代码:
tmp_re = urllib.request.urlopen('http://www.wuxiaworld.com/cdindex-html/')
却返回了403错误:
urllib.error.HTTPError: HTTP Error 403: Forbidden
经过查询得知, 这是网站设置了反爬虫策略, 不允许非浏览器访问网站, 于是我们需要伪装成浏览器访问, 全部代码如下:
from lxml import etree
import urllib.request
#网址
url = "http://www.wuxiaworld.com/cdindex-html/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/51.0.2704.63 Safari/537.36'}
req = urllib.request.Request(url=url,headers=headers)
res = urllib.request.urlopen(req)
html = res.read()
page = etree.HTML(html.lower())
hrefs = page.xpath(u"//a")
t = [href.attrib['href'].strip() for href in hrefs]
tt = [x for x in t if "book" in x ]
for chapterURL in tt:
chapterReq = urllib.request.Request(url=chapterURL,headers=headers)
chapterRes = urllib.request.urlopen(chapterReq)
chapterHtml = chapterRes.read().decode('UTF-8')
chapterPage = etree.HTML(chapterHtml.lower())
# title = chapterPage.xpath("//p/b/span")[0].text
filename = chapterURL.split("/")[4]
unTitle = chapterPage.xpath("//p/b/span")
if len(unTitle)>0:
title = unTitle[0].text
else:
title = filename
print(title,filename,chapterURL)
novelContents = chapterPage.xpath(u"//div[@class='entry-content']//p")
# 这里的encoding='utf-8'不可或缺, 不然python会以GBK方式读取数据,在chapter22那里会报错
with open(filename+'.txt', 'w',encoding='utf-8') as f:
f.write(title+'\n\n')
for content in novelContents:
if content.text is not None:
f.write(content.text+'\n\n')
print("处理完: "+chapterURL.split("/")[4])
另, 再附一个中文小说翻译网站: