python爬虫——爬取小说

m0_67401228

于 2022-07-29 20:04:42 发布

阅读量1.3w

点赞数 10

分类专栏：面试学习路线阿里巴巴文章标签： android 前端后端

本文链接：https://blog.csdn.net/m0_67401228/article/details/126063107

版权

本文介绍了使用Python的requests和parsel库爬取小说网站的步骤，包括解决中文乱码问题、获取小说名和章节、以及爬取章节内容。详细讲述了查看网页编码、抓取关键信息的方法，并分享了作者的编程背景和经验。

摘要由CSDN通过智能技术生成

一、导入requests和parsel库

requests是一个HTTP请求库，像浏览器一样发送THHP请求来获取网站信息。

parsel是对 HTML 和 XML 进行解析库，

import requests
import parsel

二、获取小说网站内容

通过 url = “https://www.777zw.net/1/1429/” 爬取小说网站内容。

url = "https://www.777zw.net/1/1429/"
response = requests.get(url)
responses = response.text.encode('iso-8859-1').decode('gbk')
print(responses)

在爬取小说网站时遇见一个错误爬取中文编译乱码：

之后查找资料发现是由于网页编码用的方式不同：

解决方法

查看网站所用编码方法,打开想爬取页面开启开发人员工具，在控制台输入document.charse查看文本格式

将常规的 “utf-8” 格式转换成 “gbk”

# utf-8格式
response.encoding = 'utf-8'  
# 改成gbk格式

关注

专栏目录