Python生成个人CSDN历史博客文章列表及目录

已于 2024-03-13 23:26:13 修改
阅读量2.1k 收藏 4
点赞数 3
分类专栏： 工具箱 爬虫 Python OpenCV 文章标签： python opencv 计算机视觉 网络爬虫
于 2023-01-15 20:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40985985/article/details/128675971
版权
Python OpenCV 同时被 3 个专栏收录
262 篇文章 95 订阅
订阅专栏
工具箱
50 篇文章 2 订阅
订阅专栏
爬虫
3 篇文章 0 订阅
订阅专栏

Python生成个人CSDN历史博客文章列表及目录

这篇博客将介绍如何使用Python构建CSDN历史博客文章列表，并生成目录。

2020年

2020年04月

2020年05月

2020年06月

2020年07月

2020年08月

2020年09月

2020年10月

2020年11月

2020年12月

2021年

2021年01月

2021年02月

2021年03月

2021年04月

2021年05月

2021年06月

2021年07月

2021年08月

2021年09月

2021年10月

2021年12月

2022年

2022年03月

2022年04月

2022年05月

2022年06月

2022年07月

2022年08月

2022年09月

2022年10月

2022年11月

2022年12月

2023年

2023年01月

2023年02月

2023年03月

2023年04月

2023年05月

2023年06月

2023年07月

2023年08月

2023年09月

2024

2024年01月

2024年02月

2024年03月

2. 源码

pip install pyfreeproxy

2023/4/4 更新，之前的代理不太行，无法访问了，切换到freeproxy

# 2023/4/4 更新，之前的代理不太行，无法访问了，切换到freeproxy 
# 使用Python爬取CSDN历史博客文章列表，并生成目录
# python pa_article.py

# 2022
## 202201
# - aaa
# - bbb
## 202202
# -ccc
# -ddd
# 2023
## 202301
# -eee
# -fff
import datetime
import json

import requests

def getCSDNTitleUrl(year, month, dict):
    now_time = datetime.datetime.now().strftime("%Y%m")
    if (year + month > now_time):
        return
    url = 'https://blog.csdn.net/community/home-api/v1/get-business-list?page=1&size=50&businessType=blog&orderby=&noMore=false&year=' + year + '&month=' + month + '&username=qq_40985985'
    headers = {
        'User-Agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
    }
    response = requests.get(url, headers=headers)
    # print(response.text)

    results = json.loads(response.text)
    dict[year + '年' + month + '月'] = results

dict = {}
for i in range(2023, 2024):
    for j in range(1, 13):
        if (j < 10):
            # print(i, '0' + str(j))
            getCSDNTitleUrl(str(i), '0' + str(j), dict)
        else:
            # print(i, str(j))
            getCSDNTitleUrl(str(i), str(j), dict)
         

list = []
for item in dict.items():
    key = item[0]
    value = item[1]
    # print('%s   %s:%s' % (item, key, value))

    data = value['data']['list']
    if (len(data) == 0): continue
    if ('01' in key):
        print('\n# {}\n'.format(key[0:4]))
    print('\n## {}\n'.format(key))
    for obj in data:
        print('- [{}]({})'.format(obj['title'].replace('[', '').replace(']', ''), obj['url']))

参考

程序媛一枚~
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Python爬虫入门实战2：获取CSDN个人博客文章基础信息
老猿Python
03-03 1386
本文介绍了CSDN博文的文章标题、内容、博主名、阅读数量、收藏数量、点赞数量、评论数量、文章长度、是否原创、发表日期、是否付费专栏等基本信息的信息构成，并提供了爬取博文内容并分析这些信息的代码示例，有助于理解利用BeatifulSoap4分析爬取数据的HTML报文内容。
Java爬取CSDN博客
求知
03-18 629
最近由于要做一个关于技术博客搜索的搜索工具，我开始接触到了爬虫，因为Java学的比较精通（主要是有很多封装的工具包），写了一个小小的Demo，进入主题吧 参开博客链接 1. 请求的规则，我用的是Jsoup请求网页，它可以在请求时，按照你设置的规则来进行请求，所有要有一个请求规则类，PS：但是后面好像并没有什么用到规则的父类，一般请求都需要的package com.lg.po;import ja
Python登录并获取CSDN博客所有文章列表
乐百川
04-08 1007
分析登录过程这几天研究百度登录和贴吧签到，这百度果然是互联网巨头，一个登录过程都弄得复杂无比，简直有毒。我研究了好几天仍然没搞明白。所以还是先挑一个软柿子捏捏，就选择CSDN了。过程很简单，我也不截图了。直接打开浏览器，然后打开Fiddler，然后登录CSDN。然后Fiddler显示浏览器向https://passport.csdn.net/account/login?ref=toolbar发送了一
Python网络爬虫：50行代码爬取CSDN博客文章列表 并将点赞评论等数据存储到Excel表格
有意栽花花不发，无心插柳柳成荫。
04-09 664
hello，大家好，我是wangzirui32，今天我们来学习如何爬取CSDN博客文章列表，并将数据存储到Excel里。 开始学习吧！（Tips：本节课有点复杂，请耐心学习！） 学习目录前言1. 网页代码分析2. 编写代码写在最后 前言 最近，我想看看自己博客文章的情况，但是又懒得一个又一个去翻，于是，我决定要使用Python爬虫来获取博客的情况。 1. 网页代码分析 下面我们要爬取很多数据，于是，我用两张图来代替解释： 2. 编写代码 根据上面的分析编写代码： # -*- coding: utf-8 -
Python爬虫：通过爬取CSDN博客信息，学习lxml库与XPath语法
李元静
07-21 2756
目录lxml库lxml基本用法解析XML文件解析HTML文件XPath什么是XPathXPath语法XPath实战选取此节点的所有子孙节点选取此节点的所有子节点 lxml库 lxml是Python的一个解析库，专门用于解析XML与HTML，支持XPath解析方式。由于lxml库的底层是使用C语言编写的，所以其解析效率非常的高。 在我们后面讲解使用该库之前，我们需要安装该库。一般通过如下命令进行安装即可，代码如下： pip install lxml lxml基本用法 既然，lxml库支持解析XML以及HTM
爬取CSDN博客数据分析及可视化
gezongbo的博客
12-23 2076
本项目想要爬取csdn博客数据，分析gezongbo的博客在2021年发布博客数量与阅读量的关系。使用正则表达式匹配字符串，获取想要的数据，并将数据保存到Excel和文本文件。将获取的数据进行可视化，通过对抓取的数据分析得到结论，每月博客发布数量与阅读量成正比。并将博客名称词云可视化，发现图形界面，Java，Python等关键词使用较多。 关键词：Python；网络爬虫；博客；可视化；
Scrapy实现CSDN自动登录获取博客分类列表
12-21
在这个项目中，我们利用Scrapy来实现CSDN（China Software Developer Network）的自动登录功能，并进一步获取博客分类列表。这个过程涉及到了网络请求、网页解析、登录验证以及数据提取等多个环节。 首先，我们需要...
python生成数据.zip
01-20
描述中的链接指向了CSDN博客上的一篇文章，该文章详细解释了代码实现过程。虽然没有提供文章的具体内容，但我们可以推测，文章可能涵盖了以下几个关键知识点： 1. **Python基础**：Python是用于数据分析和科学计算...
Django博客
01-18
4. **定义模型**：在应用的models.py文件中，定义博客文章、作者等数据模型。 5. **数据库迁移**：运行`python manage.py makemigrations`和`python manage.py migrate`命令，将模型的变化同步到数据库。 6. **...
基于django的博客系统源码_python学习项目
08-29
在Django中，通常会有一个`templates`目录，包含多个HTML模板，如`post_detail.html`用于显示单个博客文章，`index.html`作为首页展示文章列表。 3. **View**：视图是Python函数或类，它们接收用户请求，处理数据，...
python读取C语言头文件，参考博客，有测试记录、使用说明
06-07
参考博客《使用Python读取C语言头文件》（链接：https://blog.csdn.net/li171049/article/details/126673510），作者提供了一种方法，通过解析头文件的文本内容来提取关键信息。这个过程可能包括以下步骤： 1. **...
【python】爬取csdn博客相关数据
gz-郭小敏的博客
03-12 473
代码后续优化请关注：https://github.com/guosimin/python-spider 注意：请限制使用爬虫频率，做一条有道德的爬虫 一，首先要先准备一定量的代理ip并存入到数据库 #!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests,threading,datetime from bs4 impor...
爬取csdn博主文章
u010563350的博客
06-28 572
#!/usr/bin/env python import re import requests import os import sys from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36" } # 传递的非单个博客地址，而是博客列表
爬取博客信息的简单爬虫
学习笔记
08-05 1227
调用 getOneBlogDetails( ) 函数可以获取目标网页的博主姓名， 个人主页网址，原创文章、粉丝、喜欢、评论数量， 等级、访问量、积分、排名。 #!/usr/lib/python3.6 #encoding = utf-8 #爬取一个博客的基本信息 #本爬虫仅用于学习，纯属爱好，虽然本爬虫很简单，但还是请大家不要滥用 import requests from bs...
爬取CSDN主页内容
qq_45281832的博客
08-14 198
没啥事干……在CSDN里发一发CSDN的主页爬虫吧，虽然CSDN主页是Ajax加载的，但是里面有个shown_offset不知道是啥，百度了之后才知道是一个类似时间戳的东西（感想那位仁兄，不过我忘了在哪看到的了，8好意是哈） 完整代码如下： import requests import time #爬取CSDN推荐内容 def get_page_json(): url='https://w...
Python分布式爬虫框架Scrapy 打造搜索引擎(四) - 爬取博客网站
JavaEdge全是干货的技术号
11-17 6030
相关源码 搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中. 首先爬取一个网站前，我们需要分析网络的...
如何用python爬取大量博客
weixin_42613017的博客
02-14 171
如果要使用 Python 爬取大量博客，可以使用爬虫框架，例如 Scrapy。 首先，需要对目标网站进行分析，确定数据的 URL 格式和数据的 HTML 标签。然后，可以使用 Scrapy 来编写爬虫代码，自动访问目标网站并提取需要的数据。 具体来说，你可以使用 Scrapy 定义一个 spider，该 spider 会根据你的配置进行爬取。比如，你可以设置爬取的起始 URL，以及如何继续爬取下一...
Python爬虫入门教程 1-100 CentOS环境安装
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
07-30 7万+
你好，当你打开这个文档的时候，我知道，你想要的是什么！ Python爬虫，如何快速的学会Python爬虫，是你最期待的事情，可是这个事情应该没有想象中的那么容易，况且你的编程底子还不一定好，这套课程，没有你想要的Python基础，没有变量，循环，数组等基础知识，因为我不想在那些你可以直接快速学会的地方，去浪费你的时间。 好了，这套课程是基于Python3.0 以上写的，操作系统我使用的是...
基于Centos7+pycharm搭建python获取爬虫小项目
loooody的博客
06-30 1667
一.安装python环境 网上教程查阅 安装成功后运行：python 查看版本：python-V 二.安装pycharm 应在步骤一完成后进行 到pycharm官网下载最新版本 下载链接：https://www.jetbrains.com/pycharm/三.创建Scrapy项目1.Scrapy的安装 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并...
python csdn 生成 句子
最新发布
01-19
首先，我们可以使用Python的requests库访问CSDN提供的API接口，通过API获取到相关的文章、博客、帖子等内容。可以根据关键词、标签、分类等条件来筛选所需的内容。 接下来，我们可以利用Python的json库来解析获取到...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序媛一枚~

您的鼓励是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值