Python爬虫教你爬取csdn作者排行榜

最新推荐文章于 2023-09-09 19:53:30 发布

小全同学‘

最新推荐文章于 2023-09-09 19:53:30 发布

阅读量1.6k

点赞数 9

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/qqshenbaobao/article/details/128724376

版权

本文介绍了如何使用Python的requests库抓取CSDN博客的ajax请求，解析JSON数据并进行持久化存储到Excel文件。首先，通过抓包工具获取请求链接和参数，然后利用requests发送GET请求，解析返回的JSON数据，提取博客用户名、粉丝数等信息，并利用xlwt将数据保存到Excel表格中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

(一)两种爬取方式介绍

1.自动化测试工具

安装好驱动(以前的selenium文章有教程),然后进行元素定位，最后数据提取，用xls表格进行持久化存储

2.requests库

利用基本方法发起请求，获得json数据进行持久化存储

本篇文章先讲解第二种，后续出第一种方法

(二)代码及思路分享

1.获取请求链接

对比网页源代码及网页数据，发现源代码中不含所需数据，因此利用抓包工具获取ajax请求进行链接获取
在这里插入图片描述

抓包工具获取链接

在这里插入图片描述

2.分析参数

链接:https://blog.csdn.net/phoenix/web/blog/allRank?page=1&pageSize=20
参数page为第几页
参数pageSize为一页展示的个数
两个参数都可以手动传入

3.效果展示(部分数据):

在这里插入图片描述

4.全部代码:

import requests
from bs4 import BeautifulSoup
from lxml import etree
import xlwt
import csv
headers={
    "user-agent":"chrom/10"
}

List=[]
data0=["用户名","粉丝数","获赞数","博客等级","综合指标"]
List.append(data0)
for i in range(0,5):
    url = f"https://blog.csdn.net/phoenix/web/blog/allRank?page={i}&pageSize=20"
    r=requests.get(url=url,headers=headers,timeout=100)
    r.encoding="utf-8"
    if(r.status_code==200):
        t=r.json()
        for j in range(0,20):
            data=[]
            data.append(t["data"]["allRankListItem"][j]["nickName"])
            data.append(t["data"]["allRankListItem"][j]["fansCount"])
            data.append(t["data"]["allRankListItem"][j]["diggCount"])
            data.append(t["data"]["allRankListItem"][j]["level"])
            data.append(t["data"]["allRankListItem"][j]["hotRankScore"])
            List.append(data)
writer=xlwt.Workbook()
sheet=writer.add_sheet("sheet01")

for m in range(len(List)):
    for n in range(len(List[0])):
        sheet.write(m,n,List[m][n])

writer.save("博客排行榜.xls")


r.close()