lis = rank.find(‘div.book-list ul li’).items()
for li in lis:
排名第一的书是展开的,结构会稍有不同,我们找到我们需要的信息
if li.attr(‘class’) == ‘unfold’:
books[title].append([
li.attr(‘data-rid’), # 序号
li.find(‘h4’).text(), # 书名
li.find(‘p em’).text() # 月票
])
else:
books[title].append([
li.attr(‘data-rid’), # 序号
li.find(‘div.name-box a.name’).text(), # 书名
li.find(‘div.name-box i.total’).text() # 月票
])
遍历
for key, values in books.items():
print(key) # 输出榜名
for rank, name, total in values:
如果长度超出,则省略13位以后的
if len(name.encode(‘GBK’)) > 30:
name = name[:13] + ‘…’
补全
name += ’ ’ * (30 - len(name.encode(‘GBK’)))
print(rank.ljust(2), name, total)
print() # 空一行
import requests
from pyquery import PyQuery
url = ‘https://www.qidian.com/’
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52’
}
主函数
def main():
html = requests.get(url=url, headers=headers)
html.encoding = ‘utf-8’
html = PyQuery(html.text)
找到热榜节点
ranks = html.find(‘div#rank-list-row.rank-list-row.cf.mb20 div.rank-list’).items()
books = dict()
遍历每一个热榜
for rank in ranks:
title = rank.find(‘h3 a.more’).siblings().text()
books[title] = list()
遍历热榜的书
lis = rank.find(‘div.book-list ul li’).items()
for li in lis:
排名第一的书是展开的,结构会稍有不同,我们找到我们需要的信息
if li.attr(‘class’) == ‘unfold’:
books[title].append([
li.attr(‘data-rid’), # 序号
li.find(‘h4’).text(), # 书名
li.find(‘p em’).text() # 月票
])
else:
books[title].append([
li.attr(‘data-rid’), # 序号
li.find(‘div.name-box a.name’).text(), # 书名
li.find(‘div.name-box i.total’).text() # 月票
])
遍历
for key, values in books.items():
print(key) # 输出榜名
for rank, name, total in values:
如果长度超出,则省略13位以后的
if len(name.encode(‘GBK’)) > 30:
name = name[:13] + ‘…’
补全
name += ’ ’ * (30 - len(name.encode(‘GBK’)))
print(rank.ljust(2), name, total)
print() # 空一行
main() # 主函数
input() # 等待输入
— End —
=======
感谢阅读!
原创不易,期待你的点赞、收藏与关注!
本文收录于专栏 Python 爬虫。
关注作者,互助交流,学习更多 Python 知识!
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)
](https://i-blog.csdnimg.cn/blog_migrate/0426b4c2e3d69852ceb846faa8ff365f.png)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)
![img](https://i-blog.csdnimg.cn/blog_migrate/88f5a17627683f284b30e64f0fc55abe.jpeg)