Python生成个人CSDN历史博客文章列表及目录

已于 2024-03-13 23:26:13 修改
阅读量1.8k 收藏 4
点赞数 2
分类专栏： 工具箱 爬虫 Python OpenCV 文章标签： python opencv 计算机视觉 网络爬虫
于 2023-01-15 20:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40985985/article/details/128675971
版权
Python OpenCV 同时被 3 个专栏收录
261 篇文章 93 订阅
订阅专栏
工具箱
50 篇文章 2 订阅
订阅专栏
爬虫
3 篇文章 0 订阅
订阅专栏

Python生成个人CSDN历史博客文章列表及目录

这篇博客将介绍如何使用Python构建CSDN历史博客文章列表，并生成目录。

2020年

2020年04月

2020年05月

2020年06月

2020年07月

2020年08月

2020年09月

2020年10月

2020年11月

2020年12月

2021年

2021年01月

2021年02月

2021年03月

2021年04月

2021年05月

2021年06月

2021年07月

2021年08月

2021年09月

2021年10月

2021年12月

2022年

2022年03月

2022年04月

2022年05月

2022年06月

2022年07月

2022年08月

2022年09月

2022年10月

2022年11月

2022年12月

2023年

2023年01月

2023年02月

2023年03月

2023年04月

2023年05月

2023年06月

2023年07月

2023年08月

2023年09月

2024

2024年01月

2024年02月

2024年03月

2. 源码

pip install pyfreeproxy

2023/4/4 更新，之前的代理不太行，无法访问了，切换到freeproxy

# 2023/4/4 更新，之前的代理不太行，无法访问了，切换到freeproxy 
# 使用Python爬取CSDN历史博客文章列表，并生成目录
# python pa_article.py

# 2022
## 202201
# - aaa
# - bbb
## 202202
# -ccc
# -ddd
# 2023
## 202301
# -eee
# -fff
import datetime
import json

import requests

def getCSDNTitleUrl(year, month, dict):
    now_time = datetime.datetime.now().strftime("%Y%m")
    if (year + month > now_time):
        return
    url = 'https://blog.csdn.net/community/home-api/v1/get-business-list?page=1&size=50&businessType=blog&orderby=&noMore=false&year=' + year + '&month=' + month + '&username=qq_40985985'
    headers = {
        'User-Agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
    }
    response = requests.get(url, headers=headers)
    # print(response.text)

    results = json.loads(response.text)
    dict[year + '年' + month + '月'] = results

dict = {}
for i in range(2023, 2024):
    for j in range(1, 13):
        if (j < 10):
            # print(i, '0' + str(j))
            getCSDNTitleUrl(str(i), '0' + str(j), dict)
        else:
            # print(i, str(j))
            getCSDNTitleUrl(str(i), str(j), dict)
         

list = []
for item in dict.items():
    key = item[0]
    value = item[1]
    # print('%s   %s:%s' % (item, key, value))

    data = value['data']['list']
    if (len(data) == 0): continue
    if ('01' in key):
        print('\n# {}\n'.format(key[0:4]))
    print('\n## {}\n'.format(key))
    for obj in data:
        print('- [{}]({})'.format(obj['title'].replace('[', '').replace(']', ''), obj['url']))

参考

程序媛一枚~
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Python爬虫入门教程 1-100 CentOS环境安装
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
07-30 7万+
你好，当你打开这个文档的时候，我知道，你想要的是什么！ Python爬虫，如何快速的学会Python爬虫，是你最期待的事情，可是这个事情应该没有想象中的那么容易，况且你的编程底子还不一定好，这套课程，没有你想要的Python基础，没有变量，循环，数组等基础知识，因为我不想在那些你可以直接快速学会的地方，去浪费你的时间。 好了，这套课程是基于Python3.0 以上写的，操作系统我使用的是...
Python登录并获取CSDN博客所有文章列表代码实例
01-20
所以还是先挑一个软柿子捏捏，就选择CSDN了。 过程很简单，我也不截图了。直接打开浏览器，然后打开Fiddler，然后登录CSDN。然后Fiddler显示浏览器向https://passport.csdn.net/account/login?ref=toolbar发送了一个...
【SpringBoot仿牛客网】03、开发注册功能
qq_38939822的博客
11-21 779
复杂的功能要拆成相对简单的功能，这样好开发 web项目可以按照请求拆分功能 点击注册按钮，跳到注册页面，这是一次请求； 将注册信息提交到服务器，服务器要发送激活邮件，这是一次请求； 点击激活邮件里的链接，服务器要将该用户的status改成已激活，这是一次请求 每一次请求都按照数据访问层、业务层和视图层开发 有的请求没有完整的三层 1 访问注册页面 现在首页和注册按钮的链接都是静态链接，先把他俩改成动态链接 templates里的网页不能直接访问，只能利用Controller访问 首页由于之前写过Co
C++实验(04)
多学习
03-24 2149
文章目录一.Time、 Date类及其子类二.Shape类及其子类三.多继承 一.Time、 Date类及其子类 题目描述 已有类 Time和Date，要求设计一个派生类Birthtime，它是Time和Date的公有派生类，新增一个数据成员childName用于表示小孩的名字，设计主程序显示一个小孩的名字和出生日期时间。数据通过键盘输入，需要判断输入的年月日时分秒是否有效。Time与Date的成...
Python爬取CSDN，获取个人博客信息
热门推荐
卡小基的博客
05-09 1万+
    最近自己空余时间在学习CPDA相关的知识，不过不打算考证，毕竟报名费用要8800（此处吐血三升）。不过相关资料倒是挺多的，感觉很有意思，也很适合自己，就拿来学学了。    但是作为数据分析师，前提肯定是需要能得到大量数据。现在获取数据的最快方法就是在网络上爬取，所以自己就学习了下如何使用Python在网络上爬取数据。既然常常在CSDN上混，那就先从爬取CSDN的数据开始吧。    代码和思...
MIF格式转SHP格式方法总结
快乐人生
09-03 8419
MIF是mapinfo的数据文件,SHP是arcGIS的数据文件, 由MIF格式转成SHP格式,需要注意一点: MIF格式文件所在的目录不能太深,否则mapinfo9.5说转换不正确:      具体错误信息为: Unbalanced quotation marks encountered on line 1 of file G:\DOCUME~1\mao\LOCALS~1\Temp
Python获取字符串‘我学习过《中国地理》和《中国历史》‘中所有“《》“的内容，形成列表输出，并置换上题中的’中国‘为’世界‘，然后输出
qq_40803019的博客
05-31 98
【代码】Python获取字符串‘我学习过《中国地理》和《中国历史》‘中所有“《》“的内容，形成列表输出，并置换上题中的’中国‘为’世界‘，然后输出。
Python登录并获取CSDN博客所有文章列表
乐百川
04-08 999
分析登录过程这几天研究百度登录和贴吧签到，这百度果然是互联网巨头，一个登录过程都弄得复杂无比，简直有毒。我研究了好几天仍然没搞明白。所以还是先挑一个软柿子捏捏，就选择CSDN了。过程很简单，我也不截图了。直接打开浏览器，然后打开Fiddler，然后登录CSDN。然后Fiddler显示浏览器向https://passport.csdn.net/account/login?ref=toolbar发送了一
Python网络爬虫：50行代码爬取CSDN博客文章列表 并将点赞评论等数据存储到Excel表格
有意栽花花不发，无心插柳柳成荫。
04-09 648
hello，大家好，我是wangzirui32，今天我们来学习如何爬取CSDN博客文章列表，并将数据存储到Excel里。 开始学习吧！（Tips：本节课有点复杂，请耐心学习！） 学习目录前言1. 网页代码分析2. 编写代码写在最后 前言 最近，我想看看自己博客文章的情况，但是又懒得一个又一个去翻，于是，我决定要使用Python爬虫来获取博客的情况。 1. 网页代码分析 下面我们要爬取很多数据，于是，我用两张图来代替解释： 2. 编写代码 根据上面的分析编写代码： # -*- coding: utf-8 -
基于Centos7+pycharm搭建python获取爬虫小项目
loooody的博客
06-30 1652
一.安装python环境 网上教程查阅 安装成功后运行：python 查看版本：python-V 二.安装pycharm 应在步骤一完成后进行 到pycharm官网下载最新版本 下载链接：https://www.jetbrains.com/pycharm/三.创建Scrapy项目1.Scrapy的安装 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并...
Python分布式爬虫框架Scrapy 打造搜索引擎(四) - 爬取博客网站
JavaEdge全是干货的技术号
11-17 6008
相关源码 搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中. 首先爬取一个网站前，我们需要分析网络的...
抓取CSDN博客文章的简单爬虫python源码
06-25
抓取CSDN博客文章的简单爬虫python源码
Python基于Flask框架个人博客网站设计
10-24
功能说明：博客功能，撰写文章，文章列表，文章分类，标签管理，推荐文章，内置图床，网站设置，会员注册，邀请码。目前用户注册登录后只能修改个人密码，不能发布文章，这个主要是给管理员个人后台发布博客用的！ ...
Python列表生成器的循环技巧分享
12-25
列表生成式即List Comprehensions，是Python内置的非常简单却强大的可以用来创建list的生成式。... 您可能感兴趣的文章:Python列表推导式与生成器用法分析Python3中的列表生成式、生成器与迭代器实例详解pyt
最全LaTeX 数学公式、字母符号、上下标、列表矩阵、公式注释、分数二进制数、分割字符、逻辑集合论、否定符号等
qq_40985985的博客
12-10 8806
最全LaTeX 数学公式、字母符号、上下标、列表矩阵、公式注释、分数二进制数、分割字符、逻辑集合论、否定符号等
windows用 tree命令查看目录文件夹结构
qq_40985985的博客
11-14 6366
windows用 tree命令查看目录文件夹结构 –dirsfirst 目录优先展示 –filelimit 6 文件夹下超过6个文件的将不展开 tree windows安装可参考： https://blog.csdn.net/iKaChu/article/details/105564229
Excel 计算除法并显示为万分之几，如0.15‱
qq_40985985的博客
12-02 5092
这篇博客将介绍，在Excel中插入‱，‰，以及计算俩列的除法值保留俩位小数，并以万分之几显示，如0.16‱.
task supervisor timed out 报错及解决
qq_40985985的博客
02-18 4803
多线程ThreadPoolExecutor task supervisor timed out 报错及解决
python操作word文档（python-docx）
qq_40985985的博客
09-02 4676
python操作word文档（python-docx）1. 效果图1. 1 python-docx效果图1.2 itextpdf7效果图2. 安装3. 源代码3.1 python-docx源码3.2 itextpdf源码参考 写这篇博客源于博友的提问，将介绍如何使用python-docx操作word文档。python-docx不支持表格内文本水平居中，可以考虑使用itextpdf，生成pdf的表格然后在转回word。 itexpdf7支持的样式都比较灵活和多样。 1. 效果图 1. 1 python-do
python csdn 生成 句子
最新发布
01-19
Python CSDN 生成 句子是指使用Python编程语言结合CSDN平台提供的API或者网页爬虫技术来生成具有一定语义和逻辑的句子。 首先，我们可以使用Python的requests库访问CSDN提供的API接口，通过API获取到相关的文章、博客、帖子等内容。可以根据关键词、标签、分类等条件来筛选所需的内容。 接下来，我们可以利用Python的json库来解析获取到的API数据，筛选出文章的标题、摘要、内容等信息。 然后，可以根据需求选择使用Python的自然语言处理工具，如NLTK、spaCy等，对文章内容进行分词、词性标注、句法分析等处理，以得到更为准确的句子信息。 最后，根据所需的逻辑和语义规则，可以使用Python的字符串处理函数和逻辑处理语句，构建出合乎要求的句子。 例如，可以通过将获取到的文章标题和摘要进行拼接，再结合一些必要的连接词和标点符号，生成一个简短有关文章内容的句子。 当然，以上仅是一种简单的实现思路，具体的实现方式还需要根据API接口和数据的具体结构进行适应和调整。同时，在编写代码的过程中，我们还需要注意数据的请求和返回的异常处理、编码的处理以及代码的可扩展性和健壮性等方面的细节。 总结起来，使用Python编程语言结合CSDN的API或者网页爬虫技术，可以实现生成具有一定语义和逻辑的句子，这对于自然语言处理、数据挖掘、信息提取等领域都具有很大的应用潜力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序媛一枚~

您的鼓励是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值