【爬虫实战】Python 爬取起点热榜，再也不怕没有小说看了！

lis = rank.find(‘div.book-list ul li’).items()

for li in lis:

排名第一的书是展开的，结构会稍有不同，我们找到我们需要的信息

if li.attr(‘class’) == ‘unfold’:

books[title].append([

li.attr(‘data-rid’), # 序号

li.find(‘h4’).text(), # 书名

li.find(‘p em’).text() # 月票

])

else:

books[title].append([

li.attr(‘data-rid’), # 序号

li.find(‘div.name-box a.name’).text(), # 书名

li.find(‘div.name-box i.total’).text() # 月票

])

四、输出

---

遍历

for key, values in books.items():

print(key) # 输出榜名

for rank, name, total in values:

如果长度超出，则省略13位以后的

if len(name.encode(‘GBK’)) > 30:

name = name[:13] + ‘…’

补全

name += ’ ’ * (30 - len(name.encode(‘GBK’)))

print(rank.ljust(2), name, total)

print() # 空一行

成果展示

---

完整代码

---

import requests

from pyquery import PyQuery

url = ‘https://www.qidian.com/’

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52’

}

主函数

def main():

html = requests.get(url=url, headers=headers)

html.encoding = ‘utf-8’

html = PyQuery(html.text)

找到热榜节点

ranks = html.find(‘div#rank-list-row.rank-list-row.cf.mb20 div.rank-list’).items()

books = dict()

遍历每一个热榜

for rank in ranks:

title = rank.find(‘h3 a.more’).siblings().text()

books[title] = list()

遍历热榜的书

lis = rank.find(‘div.book-list ul li’).items()

for li in lis:

排名第一的书是展开的，结构会稍有不同，我们找到我们需要的信息

if li.attr(‘class’) == ‘unfold’:

books[title].append([

li.attr(‘data-rid’), # 序号

li.find(‘h4’).text(), # 书名

li.find(‘p em’).text() # 月票

])

else:

books[title].append([

li.attr(‘data-rid’), # 序号

li.find(‘div.name-box a.name’).text(), # 书名

li.find(‘div.name-box i.total’).text() # 月票

])

遍历

for key, values in books.items():

print(key) # 输出榜名

for rank, name, total in values:

如果长度超出，则省略13位以后的

if len(name.encode(‘GBK’)) > 30:

name = name[:13] + ‘…’

补全

name += ’ ’ * (30 - len(name.encode(‘GBK’)))

print(rank.ljust(2), name, total)

print() # 空一行

main() # 主函数

input() # 等待输入

— End —

=======

感谢阅读！

原创不易，期待你的点赞、收藏与关注！

本文收录于专栏 Python 爬虫。

关注作者，互助交流，学习更多 Python 知识！

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

](https://i-blog.csdnimg.cn/blog_migrate/0426b4c2e3d69852ceb846faa8ff365f.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）