【python爬虫应用03】csdn个人所有文章质量分查询

已于 2023-06-28 18:11:48 修改
阅读量3.6k 收藏 13
点赞数 10
文章标签： 爬虫 python
于 2023-06-28 12:49:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingfeng4923/article/details/131434454
版权
本文介绍了如何使用Python的requests库和MultipartEncoder处理CSDN博客的GET和POST请求，获取文章列表及质量分数。首先，通过环境准备和分析目标数据来确定请求URL和标头，然后编写代码实现爬取功能，包括获取单页和所有页的文章列表。最后，详细展示了如何查询文章的质量分数，解决401错误问题，并给出完整代码示例。
摘要由CSDN通过智能技术生成

🛠️ 环境准备

在开始编写代码之前，我们需要进行一些环境准备。以下是所需的环境和库：

  • 操作系统：Windows
  • 编程语言：Python 3
  • 编辑器：VSCode（可选）

安装所需的库：

  • requests：用于发送HTTP请求
  • MultipartEncoder：用于构造POST请求的请求体

可以使用以下命令在命令行中安装这些库：

pip install requests
pip install requests_toolbelt

请确保已经正确安装了Python 3，并且在编写代码之前设置了Python 3的环境变量。

🎯 分析目标数据

在进行爬取之前，首先需要打开目标网页并使用浏览器的开发者工具，以获取所需的请求 URL 和请求标头。

第一步：打开目标网页

在这里插入图片描述

第二步：使用开发者工具

按下键盘上的F12键，打开浏览器的开发者工具。然后点击"Network"选项卡，这将显示浏览器发送的网络请求。

在这里插入图片描述

第三步：获取请求 URL 和请求标头

在开发者工具中，可以看到所有的网络请求。找到目标请求，并点击查看其详情。

在请求详情中，我们可以找到标头，查看请求的URL和请求标头。这些信息将在后续的代码编写中使用。

请求url

点击负载找到请求参数

参数列表

第四步：分析请求url，构造参数字典

根据以上信息可以得到，请求url是由两部分构成，

url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
参数：
page: 2
size: 20
businessType: lately
noMore: false
username: mingfeng4923

🐍 获取所有文章代码编写

⭐️ 获取单页的文章列表

✅首先，需要导入所需的库：

import requests
from requests_toolbelt import MultipartEncoder

✅接下来，将发送GET请求并获取数据内容：

url = 'urls = "https://blog.csdn.net/community/home-api/v1/get-business-list"'
# 使用了常见的浏览器User-Agent来模拟浏览器请求
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0"
    }
    lb_params = {
        "page": 1,
        "size": "20",
        "businessType": "blog",
        "orderby": "",
        "noMore": "false",
        "year": "",
        "month": "",
        "username": "mingfeng4923",
    }

res = requests.get(url=urls, headers=headers, params=lb_params)

✅使用json方法处理数据，并读取文章列表信息，文章信息在data>list下

在这里插入图片描述

data_list = res.json()["data"]["list"]

✅遍历列表输出文章链接和文章标题

for data in data_list:
    print(data["url"],data["title"])

✅结果：
在这里插入图片描述

⭐️ 获取所有页的文章

修改页码，循环发送GET请求获取文章列表信息，直到返回的列表为空停止循环。

要获取所有文章信息，我们需要对请求的URL进行修改。URL中的参数page代表当前页码，我们可以通过修改该参数的值来获取不同页的文章列表。

🫸 首先，我们定义一个函数get_post_list_urls，该函数用于发送GET请求获取文章列表信息。

def get_post_list_urls(page, username):
    # 构造请求URL和请求参数
    url = "https://blog.csdn.net/community/home-api/v1/get-business-list"
    params = {
        "page": page,
        "size": "20",
        "businessType": "blog",
        "orderby": "",
        "noMore": "false",
        "year": "",
        "month": "",
        "username": username,
    }
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0"
    }

    try:
        # 发送GET请求
        response = requests.get(url=url, headers=headers, params=params)
        # 解析响应数据
        data_list = response.json()["data"]["list"]
        return data_list
    except Exception as e:
        print(f"获取文章列表失败：{e}")
        return []

🫸 然后，我们可以使用该函数来获取所有文章的信息。

res = []  # 存储所有文章信息的列表
page = 1  # 初始页码

# 循环获取文章列表信息
while True:
    data_list = get_post_list_urls(page, UserName)
    page += 1
    if data_list:
        res.extend(data_list)
    else:
        break

输出查看一下结果

# 遍历输出文章链接和标题
COUNT = len(res)
for data in res:
    print(data["url"],data["title"])
print(f"[+] [{COUNT}篇]")

在这里插入图片描述

📑 CSDN质量分查询

接下来是对博文质量分数的查询。首先打开目标网页并使用浏览器的开发者工具。然后复制粘贴要查询的文章链接，点击查询按钮。在开发者工具中查看请求的请求 URL 和请求标头，注意这次要用POST方法进行请求。构造查询函数，使用requests库发送POST请求获取博文的质量分数。

要查询博文的质量分数，我们需要先打开目标网页并使用浏览器的开发者工具，以查看请求的URL和请求标头。

第一步：打开目标网页

在浏览器中打开目标网页。

目标链接：https://www.csdn.net/qc
在这里插入图片描述

第二步：使用开发者工具

按下键盘上的F12键，打开浏览器的开发者工具。然后复制要查询的文章链接，点击查询。

在这里插入图片描述

在开发者工具中就可以查询到文章的信息。

在这里插入图片描述

第三步：获取请求 URL 和请求标头

在开发者工具中，可以看到所有的网络请求。找到目标请求，并点击查看其详情。

在请求详情中，我们可以找到标头，查看请求的URL和请求标头。这些信息将在后续的代码编写中使用。

在这里插入图片描述
在这里插入图片描述

根据以上信息可以得到，请求url和参数信息，使用的是post方法

请求url ： https://bizapi.csdn.net/trends/api/v1/get-article-score
参数：url: https://blog.csdn.net/mingfeng4923/article/details/131423637
第四步：构造查询函数

在Python中，我们可以定义一个函数get_quality_score，用于发送POST请求获取博文的质量分数。

def get_quality_score(article_url):
    # 构造请求URL和请求体
    url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"
    params = {"url":article_url}
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0",
        "Content-Type": "application/json",
    }

    try:
        # 发送POST请求
        response = requests.post(url=url, headers=headers,  params=params, timeout=10,)
        # 解析响应数据
        score = response.json()["data"]["score"]
        return score
    except Exception as e:
        print(f"获取质量分数失败：{e}")
        return None

报错401解决方法

这样直接访问就会出错，status_code 结果是401

在这里插入图片描述

这里需要使用requests_toolbelt库中的MultipartEncoder方法：

from requests_toolbelt import MultipartEncoder
...
params = MultipartEncoder({"url": article_url})
headers['Content-Type'] = params.content_type # 修改Content-Type
res = requests.post(
            url,
            headers=headers,
            data=params,  # 使用data
            timeout=10,
        )

在这里插入图片描述

status_code返回200，正常访问

返回数据：

code: 200
data: {
		article_id: "131423637"
		message: "文章质量良好"
		nickname: "mingfeng4923"
		post_time: "2023-06-27 19:15:12"
		score: 92
		title: "Python爬虫：Scrapy框架"
		username: "mingfeng4923"
	}
message: "success"

在这里插入图片描述

第五步：循环查询质量分

在这里插入图片描述

🌖完整代码

整合以上步骤，使用Python编写完整代码。首先获取文章列表链接，然后遍历列表获取每篇文章的质量分数。输出文章链接和质量分数。

# CSDN个人博文质量查询
import requests
from requests_toolbelt import MultipartEncoder

UserName = "mingfeng4923"
# 获取文章列表
def get_post_list_urls(page, username):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0"
    }
    lb_params = {
        "page": page,
        "size": "20",
        "businessType": "blog",
        "orderby": "",
        "noMore": "false",
        "year": "",
        "month": "",
        "username": username,
    }
    urls = "https://blog.csdn.net/community/home-api/v1/get-business-list"
    try:
        res = requests.get(url=urls, headers=headers, params=lb_params)
        # print(res.status_code)
        data_list = res.json()["data"]["list"]
        return data_list
    except Exception as e:
        print(f"[+] [ending] [{e}]")
        return 0

# 查询质量分数
def get_sorce(article_url):
    url = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
    	# headers 
    }
    params = MultipartEncoder({"url": article_url})
    headers["Content-Type"] = params.content_type
    try:
        res = requests.post(
            url,
            headers=headers,
            data=params,
            timeout=10,
        )
        # print(f"[+] [{article_url}] [{res.status_code}] ")
        sorce = res.json()["data"]["score"]
        # print(sorce)
        return sorce
    except Exception as e:
        print(f"[+] [分数获取失败] [{article_url}] [{res.status_code}] [{e}]")
        return 0

UserName = 'mingfeng4923'
res = []
page = 1
while True:
    data_list = get_post_list_urls(page, UserName)
    page += 1
    if data_list == 0 or len(data_list) == 0:
        break
    else:
        res += data_list
for data in res:
    article_url = data["url"]
    print(article_url,get_sorce(article_url))

通过以上代码，我们可以获取指定CSDN用户的所有文章链接，并查询每篇文章的质量分数。这对于分析文章的质量和影响力非常有用。你可以根据自己的需求对代码进行进一步的修改和扩展。

Happy coding!🎉

逸峰轻云
关注
CSDN文章质量检测系统
小天狼星_布莱克 的博客
12-30 3409
还有，我正在参加CSDN博客之星评选，您的支持是我最大的动力。你想要获得一个你的系统的CSDN文章评分吗？你想知道你的CSDN文章到底写得怎么样吗？想知道你的文章在CSDN中质量如何吗？快去看看你的文章质量如何吧！给我一个5星好评吧~~
爬虫python-CSDN个人博文质量查询
07-08
基于python的CSDN个人博文质量查询
CSDN质量分查询
欢迎分享学习。
10-24 3115
 CSDN 质量分是一项公开的 CSDN 博文内容质量分析服务，其综合分析了内容的标题、段落结构、正文长度、代码格式及复杂度、链接和超文本内容比例及质量等因素，为 IT 技术文章提供客观公共的质量分析结果。
CSDN博客文章质量分数查询检测系统
李长安的博客
03-09 1845
12、看再多的书是学不全脚本的，要多实践。13、无私奉献不是天方夜谭，有时候，我们也可以做到。3、最累的时候，家人是你最好的归宿。14、世界上只有两句真理：1、人一定会死。16、程序中蕴含着很多的道理，唯有大彻大悟者方能体会其中的奥妙。20、请把书上的例子亲手到电脑上实践，即使配套光盘中有源文件。然后再将你想要测试的文章的网址粘贴到搜索框中，按下搜索即可。10、我们这个世界的一个问题是，蠢人信誓旦旦，智人满腹狐疑。8、优秀的判断力来自经验，但经验来自于错误的判断。6、退一步海阔天空，这是一种应有的心境。
文章质量分数查询
2301_82199672的博客
06-18 708
进入查询入口粘贴文章链接即可查询。复制需要查询文章的链接。
【2024-完整版】python爬虫 批量查询自己所有CSDN文章的质量分：附整个实现流程
热门推荐
定期分享我的发现和想法，感谢你的陪伴和支持
03-14 1万+
python爬虫 批量查询自己所有CSDN文章的质量分
python爬虫 可以抓取CSDN用户的文章链接以及文章名称
最新发布
10-11
python爬虫 可以抓取CSDN用户的文章链接以及文章名称
Python爬虫自动获取CSDN博客收藏文章代码
05-12
本教程将专注于使用Python爬虫来自动获取CSDN博客的收藏文章。CSDN（China Software Developer Network）是中国最大的开发者社区，其中包含了丰富的技术博客和资源，是程序员学习和交流的重要平台。 首先，我们需要...
Python 爬虫爬取指定博客的所有文章
12-23
自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后，大体的进度如下： 1.增加了Cron： 用来告诉程序每隔30分钟 让一个task 醒来， 跑到指定的那几个博客上去爬取最新的更新 2.用...
pyhton爬虫：三种爬取csdn首页所有文章的方法
01-20
1. 爬取csdn首页所有文章 1.1 方法1 import urllib.request import re\nurl='http://blog.csdn.net/' #伪装浏览器 headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like ...
CSDN 博客文章质量检测以及领域指数检索
梁辰兴的博客
09-18 501
CSDN 指数是基于自 2000 年以来 CSDN 平台产生的海量内容数据、用户行为计算而来，作为中国最大专业 IT 技术社区，CSDN 指数具备高度权威性，您可通过查询关键字，用以进行技术领域趋势分析、技术选型变迁历史探索、技术内容消费特征洞察、开发者岗位需求预测等。CSDN 质量分是一项公开的 CSDN 博文内容质量分析服务，其综合分析了内容的标题、段落结构、正文长度、代码格式及复杂度、链接和超文本内容比例及质量等因素，为 IT 技术文章提供客观公共的质量分析结果。这里还可以设计时间年份。
CSDN质量分批量查询
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
01-03 2077
优质创作者申请条件： 粉丝数在5000以上 近30日（申请日算起）原创文章数不少于4篇 原创博文总数不少于100篇 垂直领域原创数量不低于总文章数的60% 垂直领域近2年原创博文质量平均分不得低于80分
如何批量查询自己的CSDN博客质量分
郝老三~~~~~~~~~~~~~
05-13 3220
不将就是发现的原动力。将自己的url地址一个一个的CV到CSDN给的查询博客质量分的界面上也可以查询自己的博客质量分。如果我选择了将就，那我就不会研究如何去通过代码实现批量查询自己的博客质量分的功能，也就少去了一个学习的机会，学习RestTemplate怎么使用，怎么导出Excel表的机会。大家可以通过这篇文章，批量查询自己的博质量，帮助我们修改我们原有博客的平均质量。
CSDN质量分查询、指数查询
Vitaccc的博客
05-10 257
【代码】CSDN质量分查询、指数查询。
CSDN的规范、检测文章质量、博客等级好处等等（我也是意外发现的，我相信很多人还不知道，使用分享给大家！）
qq_37524903的博客
11-13 599
好记性不如烂笔头。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逸峰轻云

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值