2. 获取自己CSDN文章列表并按质量分由小到大排序（文章质量分、博客质量分、博文质量分）（阿里云API认证）

已于 2023-08-16 09:22:23 修改
阅读量1.5k 收藏 4
点赞数 1
分类专栏： Python CSDN 前端 文章标签： 开发语言 python
于 2023-08-12 21:14:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dontla/article/details/132240693
版权
Python 同时被 3 个专栏收录
491 篇文章 51 订阅
订阅专栏
CSDN
11 篇文章 0 订阅
订阅专栏
前端
7 篇文章 0 订阅
订阅专栏

文章目录


1. 如何爬取自己的CSDN博客文章列表（获取列表）（博客列表）（手动+python代码方式）

3. 爬取自己CSDN博客列表（分页查询）（网站反爬虫策略，需要在代码中添加合适的请求头User-Agent，否则response返回空）

写在前面

上一篇文章中，我们已经成功获取到了自己的CSDN已发布博文列表：

（articles.json）

在这里插入图片描述

本篇文章将实现获取每篇原创文章的质量分，并由小到大排序。

步骤

打开CSDN质量分页面

https://www.csdn.net/qc?utm_source=1966961068

粘贴查询文章url

在这里插入图片描述

按F12打开调试工具，点击Network，点击清空按钮

在这里插入图片描述

点击查询

在这里插入图片描述

是调了这个接口https://bizapi.csdn.net/trends/api/v1/get-article-score

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

用postman测试调用这个接口（不行，认证不通过）

POST https://bizapi.csdn.net/trends/api/v1/get-article-score

{
    "url": "https: //dontla.blog.csdn.net/article/details/132227398"
}

在这里插入图片描述
提示：

{
    "message": "X-Ca-Key is not exist"
}

然后我把X-Ca-Key从浏览器复制下来，给它加到Headers参数里了：

在这里插入图片描述
然后它又提示什么：

{
    "message": "X-Ca-Signature not exist"
}

在这里插入图片描述

然后我故技重施，把那些提示缺少的东西统统从浏览器复制下来给它加上：

在这里插入图片描述

但是最后提示：

{
    "message": "HMAC signature does not match"
}

这有点尴尬啊。。。

我查了一下，这种认证方式貌似是阿里云的API认证

有亿点复杂，一时半会搞不懂

这里有一篇巨好的参考文章

如何批量查询自己的CSDN博客质量分

参考上面参考文章中的获取质量分java代码部分，用python代码实现获取博文质量分（可以成功查询）

就是这一段：

// //循环调用csdn接口查询所有的博客质量分
String urlScore = “https://bizapi.csdn.net/trends/api/v1/get-article-score”;
//
//请求头
HttpHeaders headers = new HttpHeaders();
headers.set(“accept”,“application/json, text/plain, /”);
headers.set(“x-ca-key”,“203930474”);
headers.set(“x-ca-nonce”,“22cd11a0-760a-45c1-8089-14e53123a852”);
headers.set(“x-ca-signature”,“RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=”);
headers.set(“x-ca-signature-headers”,“x-ca-key,x-ca-nonce”);
headers.set(“x-ca-signed-content-type”,“multipart/form-data”);
headers.setContentType(MediaType.MULTIPART_FORM_DATA);
//调用接口获取数据
List scoreModels = new ArrayList<>();
for (String bkUrl : urlList) {
MultiValueMap<String,String> requestBody = new LinkedMultiValueMap<>();
requestBody.put(“url”, Collections.singletonList(bkUrl));
HttpEntity<MultiValueMap<String, String>> requestEntity = new HttpEntity<>(requestBody, headers);
URI uri = URI.create(urlScore);
ResponseEntity responseEntity = restTemplate.postForEntity(uri, requestEntity, String.class);
JSONObject data1 = JSON.parseObject(responseEntity.getBody(),JSONObject.class) ;
ScoreModel scoreModel = JSONObject.parseObject(data1.get(“data”).toString(),ScoreModel.class);
scoreModels.add(scoreModel);
System.out.println("名称: "+scoreModel.getTitle() +"分数: " + scoreModel.getScore() +"时间: " + scoreModel.getPost_time());
}
return scoreModels;
}

传入参数为urlList：

import requests
from requests.models import PreparedRequest


def get_score_models(url_list):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    score_models = []
    for bk_url in url_list:
        data = {"url": [bk_url]}
        response = send_request(url_score, data, headers)
        data1 = response.json()
        print(data1)
        '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
        score_model = data1["data"]
        score_models.append(score_model)
        print(
            f'文章Id：{score_model["article_id"]}\n分数：{score_model["score"]}\n文章质量：{score_model["message"]}\n发布时间：{score_model["post_time"]}')

    return score_models


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


# 示例调用
urlList = ["https://dontla.blog.csdn.net/article/details/132240693"]
scoreModels = get_score_models(urlList)

上面的验证信息，我从那篇博客里搞来的，怎么生成的，我就搞不清楚了。。。

运行上面代码，能成功得到质量分信息：

在这里插入图片描述

读取我们上一篇文章中的博客列表articles.json，逐个获取质量分，最后把结果保存到processed_articles.json★★★

我们上一篇文章得到的articles.json是这样的：

在这里插入图片描述

下面代码将读取它并逐个获取质量分：

（getArticleScore.py）

import requests
from requests.models import PreparedRequest
import json


def get_score_models(url):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    data = {"url": url}
    response = send_request(url_score, data, headers)
    data1 = response.json()
    # print(data1)
    '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
    score_model = data1["data"]

    return score_model


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


def process_article_json():
    # 读取articles.json文件
    with open('articles.json', 'r') as f:
        articles = json.load(f)

    # 遍历每个元素并处理
    for article in articles:
        score_model = get_score_models(article['article_url'])
        article['article_score'] = score_model['score']
        print(article)

    # 保存处理后的结果到新的JSON文件
    output_file = 'processed_articles.json'
    with open(output_file, 'w') as f:
        json.dump(articles, f, ensure_ascii=False, indent=4)


if __name__ == '__main__':
    process_article_json()

在这里插入图片描述

最终得到processed_articles.json：

在这里插入图片描述
在这里插入图片描述

编写代码处理processed_articles.json，提取原创文章，根据url去重，并按质量分由小到大排序，生成original_sorted_articles.json★★★

（getOriginalSort.py）

import json

# 读取JSON文件
with open('processed_articles.json', 'r') as f:
    data = json.load(f)

# 过滤和排序数据，并去除重复的元素
filtered_data = []
seen_urls = set()
for article in data:
    if article['article_type'] == '原创' and article['article_url'] not in seen_urls:
        filtered_data.append(article)
        seen_urls.add(article['article_url'])

sorted_data = sorted(filtered_data, key=lambda x: x['article_score'])

# 保存到新的JSON文件
with open('original_sorted_articles.json', 'w') as f:
    json.dump(sorted_data, f, indent=4, ensure_ascii=False)

执行：

python3 getOriginalSort.py

生成文件original_sorted_articles.json：

在这里插入图片描述

不看不知道，一看吓一跳啊，居然这么多一分的。。。心塞

在这里插入图片描述

编写代码统计original_sorted_articles.json中原创文章数量，计算平均质量分★★★

（getAverageScore.py）

import json

# 读取 JSON 文件
with open('original_sorted_articles.json', 'r') as file:
    articles = json.load(file)

# 统计 article_score 并计算平均值
total_score = 0
num_articles = len(articles)
for article in articles:
    total_score += article['article_score']
average_score = total_score / num_articles

# 打印结果
print(f"元素数量：{num_articles}")
print(f"平均 article_score：{average_score}")

# 保存结果到文本文件
with open('average_score_result.txt', 'w') as file:
    file.write(f"元素数量：{num_articles}\n")
    file.write(f"平均 article_score：{average_score}\n")

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

我去，这也太低了吧，客服咋给我算出60几分的，难道只统计最近一两年的？

唉，反正慢慢改吧。。。😔

搞了个监控程序，如果我们更新了博客，就去original_sorted_articles.json把对应的score置零，然后程序马上感应到并重新获取质量分，重新计算平均质量分★★★

在这里插入图片描述
（update_score.py）

import time
import json
import requests
from requests.models import PreparedRequest


def get_score_models(url):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    data = {"url": url}
    response = send_request(url_score, data, headers)
    data1 = response.json()
    # print(data1)
    '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
    score_model = data1["data"]

    return score_model


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


def getAverageScore(articles):
    # 统计 article_score 并计算平均值
    total_score = 0
    num_articles = len(articles)
    for article in articles:
        total_score += article['article_score']
    average_score = total_score / num_articles

    # 打印结果
    print(f"元素数量：{num_articles}")
    print(f"平均 article_score：{average_score}")


def update_article_scores(file_path):
    while True:
        with open(file_path, 'r') as f:
            articles = json.load(f)

        for article in articles:
            if article['article_score'] == 0:
                print(f'监测到文章 {article["article_url"]} 改变，重新获取质量分')
                article['article_score'] = get_score_models(
                    article['article_url'])['score']
                print(
                    f'文章 {article["article_url"]} 新质量分为 {article["article_score"]}')

                # 排序
                # articles = sorted(articles, key=lambda x: x['article_score'])

                # 统计 article_score 并计算平均值
                getAverageScore(articles)

                with open(file_path, 'w') as f:
                    json.dump(articles, f, indent=4, ensure_ascii=False,)

                print()

        time.sleep(1)  # 暂停1秒后再次遍历文件


if __name__ == '__main__':
    # 在主程序中调用update_article_scores函数来更新article_score
    file_path = 'original_sorted_articles.json'
    update_article_scores(file_path)

（original_sorted_articles.json）
在这里插入图片描述

如果我们改了博客，把那篇的article_score置零：

在这里插入图片描述

这样实时计算就比较方便

Dontla
关注
专栏目录
CSDN文章质量检测系统
小天狼星_布莱克 的博客
12-30 3397
还有，我正在参加CSDN博客之星评选，您的支持是我最大的动力。你想要获得一个你的系统的CSDN文章评分吗？你想知道你的CSDN文章到底写得怎么样吗？想知道你的文章在CSDN中质量如何吗？快去看看你的文章质量如何吧！给我一个5星好评吧~~
C#实现禁用DataGridView控件列表头自动排序功能 （附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-20 777
C#实现禁用DataGridView控件列表头自动排序功能 （附完整源码）
CSDN质量分查询
wuli_xin的博客
01-02 755
才知道有质量评分，可是创作中心有没有质量分数，也可能是我没找到。
CSDN博客质量分查询，加分清单经验规则总结
最新发布
qq_41019645的博客
08-29 1335
CSDN博客质量分查询，以及根据资料和经验总结一下CSDN博客质量分提高因素
CSDN质量分批量查询
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
01-03 2065
优质创作者申请条件： 粉丝数在5000以上 近30日（申请日算起）原创文章数不少于4篇 原创博文总数不少于100篇 垂直领域原创数量不低于总文章数的60% 垂直领域近2年原创博文质量平均分不得低于80分
博客文章下载导出工具
05-02
新版可以按任意顺序排序导出，可以在导出前在列表中删除不需要的文章。可下载新浪图片与评论。可以增量备份。可导出WORD win7 用户一定要以管理员身份来运行，否则出现“无法访问”的错误 XP的用户需要下载...
CSDN博文搜索引擎源码
10-11
【CSDN博文搜索引擎源码】是一个用于搜索CSDN博客文章的系统，它整合了多个关键组件，帮助用户快速定位到所需的技术信息。这个源码涵盖了从数据爬取、文本处理到索引构建和查询执行的全过程，是学习和研究搜索引擎...
统计CSDN博客的访问量（附Python爬虫/Selenium、js+xpath两种实现）
reading-conference-writing
08-29 938
先使用js来调试页面结构、数据，这样比较快捷； var summary = $x("//div[@id='asideProfile']/div[@class='grade-box clearfix']/dl"); for(var i = 0, l = summary.length; i < l; i++) { var s = summary[i]; var label = s.getEl...
CSDN质量分查询、指数查询
Vitaccc的博客
05-10 249
【代码】CSDN质量分查询、指数查询。
如何批量查询自己的CSDN博客质量分
郝老三~~~~~~~~~~~~~
05-13 3208
不将就是发现的原动力。将自己的url地址一个一个的CV到CSDN给的查询博客质量分的界面上也可以查询自己的博客质量分。如果我选择了将就，那我就不会研究如何去通过代码实现批量查询自己的博客质量分的功能，也就少去了一个学习的机会，学习RestTemplate怎么使用，怎么导出Excel表的机会。大家可以通过这篇文章，批量查询自己的博质量，帮助我们修改我们原有博客的平均质量。
【2024-完整版】python爬虫 批量查询自己所有CSDN文章的质量分：附整个实现流程
热门推荐
定期分享我的发现和想法，感谢你的陪伴和支持
03-14 1万+
python爬虫 批量查询自己所有CSDN文章的质量分
CSDN 质量圈已经诞生了
飞鱼软件工作室
07-27 88
CSDN- 质量圈：质量人生 ...
CSDN博客文章质量分数查询检测系统
李长安的博客
03-09 1828
12、看再多的书是学不全脚本的，要多实践。13、无私奉献不是天方夜谭，有时候，我们也可以做到。3、最累的时候，家人是你最好的归宿。14、世界上只有两句真理：1、人一定会死。16、程序中蕴含着很多的道理，唯有大彻大悟者方能体会其中的奥妙。20、请把书上的例子亲手到电脑上实践，即使配套光盘中有源文件。然后再将你想要测试的文章的网址粘贴到搜索框中，按下搜索即可。10、我们这个世界的一个问题是，蠢人信誓旦旦，智人满腹狐疑。8、优秀的判断力来自经验，但经验来自于错误的判断。6、退一步海阔天空，这是一种应有的心境。
写个获取文章分类列表的接口
weixin_35756373的博客
02-15 110
好的，以下是一个获取文章分类列表的接口的示例代码，假设你正在使用 Node.js 平台和 Express 框架： const express = require('express'); const app = express(); // 假设文章分类数据保存在一个数组中 const categories = ['技术', '生活', '娱乐']; // 定义获取分类列表的接口 app.get(...
【办公类-22-01】20240123 UIBOT逐一提取CSDN质量分
reasonsummer的博客
01-23 1839
【办公类-22-01】20240123 UIBOT逐一提取CSDN质量分
Python项目实战：CSDN文章质量分批量查询工具
项目描述提到的“可执行代码文件”意味着用户无需自己编写代码，只需下载该资源后便可以直接运行程序，程序会自动查询并列出用户在CSDN上所有文章的链接以及对应的质量分。此外，作者强调该代码已经经过测试，可以...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dontla

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值