Python爬取小说网站总推荐排行榜所有小说~

相关模块 pip 安装即可

二、使用步骤

======================================================================

1.引入库

---

代码如下（示例）：

import requests

import parsel

---

2.获取网页数据

---

代码如下（示例）：

url = ‘https://www.tianyabook.com/top/allvote/’

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

response = requests.get(url=url, headers=headers)

response.encoding = response.apparent_encoding

运行返回结果：

---

3.解析数据

---

代码如下（示例）：

selector = parsel.Selector(response.text)

urls = selector.css(‘table tr td:nth-child(1) a::attr(href)’).getall()

titles = selector.css(‘table tr td:nth-child(1) a::attr(title)’).getall()

data = zip(urls, titles)

for i in data:

book_id = i[0].replace(‘.html’, ‘’).split(‘/’)[-1]

title = i[1]

print(book_id, title)

运行返回结果：

---

4.保存数据

---

def download(title, book_id):

filename = ‘D:\python\demo\电子书下载\小说\’ + title + ‘.txt’

download_url = ‘http://www.tianyabook.com/modules/article/txtarticle.php?id={}’.format(book_id)

response_2 = requests.get(url=download_url, headers=headers)

with open(filename, mode=‘a’, encoding=‘utf-8’) as f:
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）