2. 获取自己CSDN文章列表并按质量分由小到大排序（文章质量分、博客质量分、博文质量分）（阿里云API认证）

已于 2023-08-16 09:22:23 修改
阅读量1.4k 收藏 4
点赞数 1
分类专栏： Python CSDN 前端 文章标签： 开发语言 python
于 2023-08-12 21:14:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dontla/article/details/132240693
版权
Python 同时被 3 个专栏收录
440 篇文章 37 订阅
订阅专栏
CSDN
11 篇文章 0 订阅
订阅专栏
前端
7 篇文章 0 订阅
订阅专栏

文章目录


1. 如何爬取自己的CSDN博客文章列表（获取列表）（博客列表）（手动+python代码方式）

3. 爬取自己CSDN博客列表（分页查询）（网站反爬虫策略，需要在代码中添加合适的请求头User-Agent，否则response返回空）

写在前面

上一篇文章中，我们已经成功获取到了自己的CSDN已发布博文列表：

（articles.json）

在这里插入图片描述

本篇文章将实现获取每篇原创文章的质量分，并由小到大排序。

步骤

打开CSDN质量分页面

https://www.csdn.net/qc?utm_source=1966961068

粘贴查询文章url

在这里插入图片描述

按F12打开调试工具，点击Network，点击清空按钮

在这里插入图片描述

点击查询

在这里插入图片描述

是调了这个接口https://bizapi.csdn.net/trends/api/v1/get-article-score

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

用postman测试调用这个接口（不行，认证不通过）

POST https://bizapi.csdn.net/trends/api/v1/get-article-score

{
    "url": "https: //dontla.blog.csdn.net/article/details/132227398"
}

在这里插入图片描述
提示：

{
    "message": "X-Ca-Key is not exist"
}

然后我把X-Ca-Key从浏览器复制下来，给它加到Headers参数里了：

在这里插入图片描述
然后它又提示什么：

{
    "message": "X-Ca-Signature not exist"
}

在这里插入图片描述

然后我故技重施，把那些提示缺少的东西统统从浏览器复制下来给它加上：

在这里插入图片描述

但是最后提示：

{
    "message": "HMAC signature does not match"
}

这有点尴尬啊。。。

我查了一下，这种认证方式貌似是阿里云的API认证

有亿点复杂，一时半会搞不懂

这里有一篇巨好的参考文章

如何批量查询自己的CSDN博客质量分

参考上面参考文章中的获取质量分java代码部分，用python代码实现获取博文质量分（可以成功查询）

就是这一段：

// //循环调用csdn接口查询所有的博客质量分
String urlScore = “https://bizapi.csdn.net/trends/api/v1/get-article-score”;
//
//请求头
HttpHeaders headers = new HttpHeaders();
headers.set(“accept”,“application/json, text/plain, /”);
headers.set(“x-ca-key”,“203930474”);
headers.set(“x-ca-nonce”,“22cd11a0-760a-45c1-8089-14e53123a852”);
headers.set(“x-ca-signature”,“RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=”);
headers.set(“x-ca-signature-headers”,“x-ca-key,x-ca-nonce”);
headers.set(“x-ca-signed-content-type”,“multipart/form-data”);
headers.setContentType(MediaType.MULTIPART_FORM_DATA);
//调用接口获取数据
List scoreModels = new ArrayList<>();
for (String bkUrl : urlList) {
MultiValueMap<String,String> requestBody = new LinkedMultiValueMap<>();
requestBody.put(“url”, Collections.singletonList(bkUrl));
HttpEntity<MultiValueMap<String, String>> requestEntity = new HttpEntity<>(requestBody, headers);
URI uri = URI.create(urlScore);
ResponseEntity responseEntity = restTemplate.postForEntity(uri, requestEntity, String.class);
JSONObject data1 = JSON.parseObject(responseEntity.getBody(),JSONObject.class) ;
ScoreModel scoreModel = JSONObject.parseObject(data1.get(“data”).toString(),ScoreModel.class);
scoreModels.add(scoreModel);
System.out.println("名称: "+scoreModel.getTitle() +"分数: " + scoreModel.getScore() +"时间: " + scoreModel.getPost_time());
}
return scoreModels;
}

传入参数为urlList：

import requests
from requests.models import PreparedRequest


def get_score_models(url_list):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    score_models = []
    for bk_url in url_list:
        data = {"url": [bk_url]}
        response = send_request(url_score, data, headers)
        data1 = response.json()
        print(data1)
        '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
        score_model = data1["data"]
        score_models.append(score_model)
        print(
            f'文章Id：{score_model["article_id"]}\n分数：{score_model["score"]}\n文章质量：{score_model["message"]}\n发布时间：{score_model["post_time"]}')

    return score_models


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


# 示例调用
urlList = ["https://dontla.blog.csdn.net/article/details/132240693"]
scoreModels = get_score_models(urlList)

上面的验证信息，我从那篇博客里搞来的，怎么生成的，我就搞不清楚了。。。

运行上面代码，能成功得到质量分信息：

在这里插入图片描述

读取我们上一篇文章中的博客列表articles.json，逐个获取质量分，最后把结果保存到processed_articles.json★★★

我们上一篇文章得到的articles.json是这样的：

在这里插入图片描述

下面代码将读取它并逐个获取质量分：

（getArticleScore.py）

import requests
from requests.models import PreparedRequest
import json


def get_score_models(url):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    data = {"url": url}
    response = send_request(url_score, data, headers)
    data1 = response.json()
    # print(data1)
    '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
    score_model = data1["data"]

    return score_model


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


def process_article_json():
    # 读取articles.json文件
    with open('articles.json', 'r') as f:
        articles = json.load(f)

    # 遍历每个元素并处理
    for article in articles:
        score_model = get_score_models(article['article_url'])
        article['article_score'] = score_model['score']
        print(article)

    # 保存处理后的结果到新的JSON文件
    output_file = 'processed_articles.json'
    with open(output_file, 'w') as f:
        json.dump(articles, f, ensure_ascii=False, indent=4)


if __name__ == '__main__':
    process_article_json()

在这里插入图片描述

最终得到processed_articles.json：

在这里插入图片描述
在这里插入图片描述

编写代码处理processed_articles.json，提取原创文章，根据url去重，并按质量分由小到大排序，生成original_sorted_articles.json★★★

（getOriginalSort.py）

import json

# 读取JSON文件
with open('processed_articles.json', 'r') as f:
    data = json.load(f)

# 过滤和排序数据，并去除重复的元素
filtered_data = []
seen_urls = set()
for article in data:
    if article['article_type'] == '原创' and article['article_url'] not in seen_urls:
        filtered_data.append(article)
        seen_urls.add(article['article_url'])

sorted_data = sorted(filtered_data, key=lambda x: x['article_score'])

# 保存到新的JSON文件
with open('original_sorted_articles.json', 'w') as f:
    json.dump(sorted_data, f, indent=4, ensure_ascii=False)

执行：

python3 getOriginalSort.py

生成文件original_sorted_articles.json：

在这里插入图片描述

不看不知道，一看吓一跳啊，居然这么多一分的。。。心塞

在这里插入图片描述

编写代码统计original_sorted_articles.json中原创文章数量，计算平均质量分★★★

（getAverageScore.py）

import json

# 读取 JSON 文件
with open('original_sorted_articles.json', 'r') as file:
    articles = json.load(file)

# 统计 article_score 并计算平均值
total_score = 0
num_articles = len(articles)
for article in articles:
    total_score += article['article_score']
average_score = total_score / num_articles

# 打印结果
print(f"元素数量：{num_articles}")
print(f"平均 article_score：{average_score}")

# 保存结果到文本文件
with open('average_score_result.txt', 'w') as file:
    file.write(f"元素数量：{num_articles}\n")
    file.write(f"平均 article_score：{average_score}\n")

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

我去，这也太低了吧，客服咋给我算出60几分的，难道只统计最近一两年的？

唉，反正慢慢改吧。。。😔

搞了个监控程序，如果我们更新了博客，就去original_sorted_articles.json把对应的score置零，然后程序马上感应到并重新获取质量分，重新计算平均质量分★★★

在这里插入图片描述
（update_score.py）

import time
import json
import requests
from requests.models import PreparedRequest


def get_score_models(url):
    url_score = "https://bizapi.csdn.net/trends/api/v1/get-article-score"

    headers = {
        "accept": "application/json, text/plain, */*",
        "x-ca-key": "203930474",
        "x-ca-nonce": "22cd11a0-760a-45c1-8089-14e53123a852",
        "x-ca-signature": "RaEczPkQ22Ep/k9/AI737gCtn8qX67CV/uGdhQiPIdQ=",
        "x-ca-signature-headers": "x-ca-key,x-ca-nonce",
        "x-ca-signed-content-type": "multipart/form-data"
    }

    data = {"url": url}
    response = send_request(url_score, data, headers)
    data1 = response.json()
    # print(data1)
    '''
        {
            'code': 200, 
            'message': 'success', 
            'data': {
                    'article_id': '132240693', 
                    'score': 95, 
                    'message': '文章质量良好', 
                    'post_time': '2023-08-12 17: 45: 24'
            }
        }        
        '''
    score_model = data1["data"]

    return score_model


def send_request(url, data, headers):
    session = requests.Session()
    prepared_request = PreparedRequest()
    prepared_request.prepare(method='POST', url=url,
                             headers=headers, data=data)
    return session.send(prepared_request)


def getAverageScore(articles):
    # 统计 article_score 并计算平均值
    total_score = 0
    num_articles = len(articles)
    for article in articles:
        total_score += article['article_score']
    average_score = total_score / num_articles

    # 打印结果
    print(f"元素数量：{num_articles}")
    print(f"平均 article_score：{average_score}")


def update_article_scores(file_path):
    while True:
        with open(file_path, 'r') as f:
            articles = json.load(f)

        for article in articles:
            if article['article_score'] == 0:
                print(f'监测到文章 {article["article_url"]} 改变，重新获取质量分')
                article['article_score'] = get_score_models(
                    article['article_url'])['score']
                print(
                    f'文章 {article["article_url"]} 新质量分为 {article["article_score"]}')

                # 排序
                # articles = sorted(articles, key=lambda x: x['article_score'])

                # 统计 article_score 并计算平均值
                getAverageScore(articles)

                with open(file_path, 'w') as f:
                    json.dump(articles, f, indent=4, ensure_ascii=False,)

                print()

        time.sleep(1)  # 暂停1秒后再次遍历文件


if __name__ == '__main__':
    # 在主程序中调用update_article_scores函数来更新article_score
    file_path = 'original_sorted_articles.json'
    update_article_scores(file_path)

（original_sorted_articles.json）
在这里插入图片描述

如果我们改了博客，把那篇的article_score置零：

在这里插入图片描述

这样实时计算就比较方便

Dontla
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
基于协同过滤算法SSM的在线购物商城系统毕业设计源码+数据库（高分项目）.zip
01-04
基于协同过滤算法SSM的在线购物商城系统毕业设计源码+数据库（高分项目）.zip该项目是个人高分毕业设计项目源码，已获导师指导认可通过，都经过严格调试，确保可以运行！放心下载使用。这是一个全品类的购物商城系统，然后在传统的购物商城的基础上面加入了协同过滤算法，包括了基于用户的协同过滤算法和基于商品的协同过滤算法。 用户协同过滤算法的核心思想在于根据用户评分矩阵计算用户余弦相似度，然后推荐相似用户喜欢的商品；物品协同过滤算法也是根据用户的订单记录构建了用户物品矩阵，通过jaccard系数计算物品相似度，具体实现可以参考代码。网站一共有2个身份包括用户和管理，用户没登录之前在首页可以查询热门推荐商品，用户注册登录后可以根据协同过滤算法给用户个性化推荐，用户可以根据关键词查询商品，查看商品详情和评论商品，可以收藏商品和给商品评分，加入商品到购物车提交订单结算，其中订单的结算对接了支付宝在线支付接口，用户可以在个人中心修改个人信息，查询自己的订单记录、评分记录和支付记录，用户也可以申请退款，可以管理自己发布的评论，可以查询自己的商品收藏记录；管理员登录后台后可以查询各种统计信息，可以发布和管理
史上最全的seo工具,seo外链包,博客论坛链接地址网络推广大全
09-15
本工具包里面包含最全面的 seo论坛地址,包括英文seo，中文seo，博客，论坛地址等。也还有flash seo观其站查询工具 为原创工具， IIS日志分析工具等常用seo工具。 包含了大量可以用到的seo资源 做网络推广seo的朋友 千万不要错过哦 如果下载了 觉得不错 可以给我评分 ~ 谢谢啦
python实现的银行信用评分模型之建置及预测项目源码+文档说明.zip
最新发布
03-02
python实现的银行信用评分模型之建置及预测项目源码+文档说明.zip数据解释 表1 字段解释 字段名 字段含义 ID 身份ID DerogCnt 公共（水电费等）欠费次数 CollectCnt 欠税、医药费等费用的次数 BanruptcyInd 曾经是否破产的指示变量 InqCnt06 过去6个月信用信息查询次数 InqTimeLast 最近一次信用信息查询时间 InqFinanceCnt24 过去24个月内由金融公司发起的信用信息查询次数 TLTimeFirst 发生第一次信贷业务距离现在的时间 TLTimeLast 发生最后一次信贷业务距离现在的时间 TLCnt03 过去3个月信贷业务次数 TLCnt12 过去12个月信贷业务次数 TLCnt24 过去24个月信贷业务次数 TLCnt 信贷业务次数总计 TLSum 信贷业务发生额总计 TLMaxSum 单次信贷业务发生额最大值 TLSatCnt 目前处于正常状态的信贷业务次数 TLDel60Cnt 目前拖延60天以上未还款状态的信贷业务次数 TLBadCnt24 24月内违约的信贷业务次数 TL75UtilCnt 信贷业务账号利
网络在线考试系统-java-smm框架-毕业设计（资源包）-与博客相对应
06-06
我的资源中都包含java环境jdk、软件包以及程序包（考试系统0513） 1、管理员：可以对管理员信息进行查询、添加和删除，可以对管理员自身的密码进行修改，需要验证旧的密码才行。它可以对老师的信息，学生的资料进行更改。同时，也对科目进行添加和删除。管理员可以以对考试的试卷进行查看和删除，也可以对学生成绩的信息的查看和导出，以及对60到90分，0到60分两个分数段做成绩信息统计图，查看柱状图。 2、教师：可以对自己的个人资料进行修改。还可以对题库中试题进行创建和编辑，直接生成试卷，设立分值。可以查看学生答案，有图片和文字了两种查看方式，对此进行评分。 教师可以查询和导出学生的总成绩以及题型的得分情况，可以看到合格人数的柱状图。 3、学生：可以对资料进行更正。学生可以选择试卷，在答主观题时候则为文字答题或上传图片。学生可以查询成绩，待老师判完卷即可查询出成绩，主观题、客观题的成绩，汇总成绩以及是否合格，还可以查询自己在考试中的错题以及解析。
2022年博客之星诚信五星互评
梁辰兴的博客
12-29 132
1.单击连接：https://www.csdn.net/，进入CSDN首页2.单击左上角的社区，进入csdn社区 3.单击页面中滚动的【博客之星投票图片】如下图所示 4.进入下图界面，单击我的互动区 5.进入个人投票帖子页面，可进行投票和分享链接供他人投票 注：请将你的评分链接发送到评论，我会立即五星好评，诚信五星互评，非常感谢！
CSDN质量分查询
欢迎分享学习。
10-24 2471
 CSDN 质量分是一项公开的 CSDN 博文内容质量分析服务，其综合分析了内容的标题、段落结构、正文长度、代码格式及复杂度、链接和超文本内容比例及质量等因素，为 IT 技术文章提供客观公共的质量分析结果。
CSDN博客文章质量分数查询检测系统
李长安的博客
03-09 1647
12、看再多的书是学不全脚本的，要多实践。13、无私奉献不是天方夜谭，有时候，我们也可以做到。3、最累的时候，家人是你最好的归宿。14、世界上只有两句真理：1、人一定会死。16、程序中蕴含着很多的道理，唯有大彻大悟者方能体会其中的奥妙。20、请把书上的例子亲手到电脑上实践，即使配套光盘中有源文件。然后再将你想要测试的文章的网址粘贴到搜索框中，按下搜索即可。10、我们这个世界的一个问题是，蠢人信誓旦旦，智人满腹狐疑。8、优秀的判断力来自经验，但经验来自于错误的判断。6、退一步海阔天空，这是一种应有的心境。
读者手册（必读）
快乐学习
12-02 4739
我的动态交流地方，大家有什么问题可以私信我或者动态里面留言，我看到都会回复的。可以搜索gong众号回复对应的数字进行获取。文章评论区留言或者私信我，看到就回。公众号名字和我的博客名字一样。里面包含csdn文章质量分查询，各个操作系统的ISO纯净版
如何批量查询自己的CSDN博客质量分
郝老三~~~~~~~~~~~~~
05-13 2945
不将就是发现的原动力。将自己的url地址一个一个的CV到CSDN给的查询博客质量分的界面上也可以查询自己的博客质量分。如果我选择了将就，那我就不会研究如何去通过代码实现批量查询自己的博客质量分的功能，也就少去了一个学习的机会，学习RestTemplate怎么使用，怎么导出Excel表的机会。大家可以通过这篇文章，批量查询自己的博质量，帮助我们修改我们原有博客的平均质量。
Android 获取当前网速质量调整网络请求
02-22
博客地址： http://blog.csdn.net/sbsujjbcy/article/details/50716197
Spring MVC +Spring + Mybatis 构建分库分表源码
03-10
本资源对应博文：http://blog.csdn.net/buchengbugui/article/details/60972176，可以通过博文进行学习，博文有详细教程，以及代码。
sharding-jdbc之——分库分表实例完整源码
02-25
sharding-jdbc之——分库分表实例完整源码，详情请参见博文：http://blog.csdn.net/l1028386804/article/details/79368021
CSDN博客资源积分获取方式.docx
12-18
2、每发布一篇转载文章：可获得2分； 3、博主的文章每被评论一次：可获得1分； 4、每发表一次评论：可获得1分（自己给自己评论、博主回复评论不获得积分）； 5、博文阅读次数每超过100次：可获得1分，阅读...
Android空气质量检测仪
07-21
支持分享到社交网络。 【操作提示】 * 按 NEXT ：切换显示【AQI 指数】与【PM2.5 浓度值】 * 按 PRINT ：打印具体空气质量详情 * 长按 NEXT ：进入选择城市模式 * …… * 更多操作方式，慢慢探索 : 忘记从什么时候...
CSDN如何看自己文章的得分情况
m0_56366541的博客
07-16 754
如题，在CSDN进行博客创作的时候，有时候数据不是很好，在内容管理里面还很提示你改进质量，这个时候可以使用CSDN质量分数去查看自己文章的打分，点击查看，就可以看到自己文章的得分从而进行针对性的改进了。将自己的文章的地址粘贴上去。
《2021博客之星年度总评选》线上评分排名|领域评分数降序排名TOP90|每日更新
未来工厂的博客
12-29 1093
《2021博客之星年度总评选》根据参赛博主评分数降序排名TOP90|每日更新，线上评分2021年12月28日-2022年1月7日
我是如何为技术博客设计一个推荐系统（上）：统计与评分加权
phodal
08-29 1303
过去的两周里，我一直忙于为 『玩点什么』 设计一个推荐系统。在这个过程中，参考几本书籍，查找了一系列的资料。想着这些资料上，大部分都是大同小异的，实现了几个简单的推荐功能，改进了标签推荐算法，便想着写篇文章记录一下。『玩点什么』，是一个基于 Django、Python 的 CMS 系统（Mezzanine）。是的，和我的博客使用的是同一个 CMS 系统。由于使用的是 Python 语言，因此对于机
CSDN等级详解：原力等级、创作等级、博客等级及期升级、降级与评分要点
qq_58168857的博客
12-09 2473
本文对CSDN现有的原力等级、创作等级和博客等级进行了梳理、分析与总结。重点就如何查看相应等级及分值，评分升级标准、等级权益进行梳理，有助于在CSDN上写博客的创作者有针对性的提升相应等级，提高博客权益。
csdn质量分怎么提高
05-10
要提高CSDN质量分，建议您可以从以下几个方面入手： 1. 提升文章质量：写出更加高质量的文章，包括文章的内容、结构、语言表达等方面。可以多参考一些优秀的技术博客，学习他们的写作技巧和经验。 2. 增加原创文章数量：原创文章数量越多，质量分越容易提高。因此，建议您尽可能多地发表原创文章，而且要保证文章的原创性和独特性。 3. 参与技术社区活动：积极参与技术社区的讨论和分享，与其他技术人员交流和学习。可以参加一些技术论坛、技术交流会等活动。 4. 提高个人影响力：在技术领域中提高自己的影响力，比如贡献开源项目、参加技术会议等，可以提高您在技术社区中的认知度和权威度，进而提高质量分。 5. 遵守CSDN的规则：遵守CSDN平台的规则和要求，不发表垃圾信息、不恶意刷分等行为，这样才能够让您的质量分得到稳步提高。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dontla

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值