起因:看小说无聊,想起用python自己写一个爬虫,爬出 笔趣阁 中的所有的小说。就去爬 (www.xbiquge.la)网站。
经过:代码如下
def getHtml(url):
print('start html')
#获取网页内容
page = urllib.request.urlopen(url)
html = page.read().decode()
return html
然后代码运行时,出现了 ‘utf-8’ codec can’t decode byte 0x8b in position 1: invalid start byte 这个错误提示。
原因:笔趣阁网站返回的数据是经过压缩的,压缩格式是Gzip格式,需要通过相应算法解压后使用。
修改后代码:
def unGzip(page):
try:
data = gzip.decompress(page)
except:
pass
return data
def getHtml(url):
print('start html')
#获取网页内容
page = urllib.request.urlopen(url)
html = unGzip(page.read()).decode()
return html