前言
- 突然想爬取CSDN的专栏文章到本地保存了,为了影响小一点,特地挑选CSDN的首页进行展示。
- 综合资讯这一测试点是什么找到的呢?就是点击下图的热点文章,然后跳转到具体文章
,然后再点击专栏文章,就进入了
废话少说,直接上代码
-
用面向对象的思维实现了代码
-
代码思路放在了代码注释里面
-
用到了requests、bs4等主流接口
-
剩下的就是,希望大家有空基于这个继续开发完善,哈哈哈哈!!!
-
此代码和实现内容都已经打包上传只Gitee,可以点击查看
“”"
@Author:survive
@Blog(个人博客地址): https://blog.csdn.net/haojie_duan@File:csdn.py.py
@Time:2022/2/10 8:49@Motto:我不知道将去何方,但我已在路上。——宫崎骏《千与千寻》
代码思路:
1.确定目标需求:将csdn文章内容保存成 html、PDF、md格式
- 1.1首先保存为html格式:获取列表页中所有的文章ur1地址,请求文章ur1地址获取我们需要的文章内容
- 1.2 通过 wkhtmitopdf.exe把html文件转换成PDF文件
- 1.3 通过 wkhtmitopdf.exe把html文件转换成md文件2.请求ur1获取网页源代码
3.解析数据,提取自己想要内容
4.保存数据
5.转换数