python爬虫——爬取小说

一、导入requests和parsel库

requests是一个HTTP请求库，像浏览器一样发送THHP请求来获取网站信息。

parsel是对 HTML 和 XML 进行解析库，

import requests
import parsel

二、获取小说网站内容

通过 url = “https://www.777zw.net/1/1429/” 爬取小说网站内容。

url = "https://www.777zw.net/1/1429/"
response = requests.get(url)
responses = response.text.encode('iso-8859-1').decode('gbk')
print(responses)

在爬取小说网站时遇见一个错误爬取中文编译乱码：

之后查找资料发现是由于网页编码用的方式不同 ：

解决方法

查看网站所用编码方法,打开想爬取页面开启开发人员工具，在控制台输入document.charse查看文本格式