博客园随笔内容进行爬取至本地并转md格式

将博客园随笔保存至本地并转md格式

1.首先博客园的robots协议

User-Agent: *
Allow: /

2.项目目的

方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔

3.项目介绍功能介绍

• 功能一：批量爬取博客园首页的所有随笔字典并保存JSON文件，且随笔全部转成MD格式文件

• 功能二：输入指定随笔网址把随笔内容转成MD并且保存

由于不同博客具有不同的见状性`要根据博客能让进行适当的修改就可以使用此程序

不要加多进程与多线程进去增加博客园的负担

爬取内容请不要用做商业用途

4.项目链接

https://github.com/a568972484/html_to_md

项目中的注释我都去掉了,有注释的在压缩文档中需要的话联系我,内容与Crawl_blog_post_3中完全相同只是有注释而已

现在收到有些博客的见状性修改,已经升级到3.0版本,哈哈

内容会不断更新完善

转载于:https://www.cnblogs.com/pythonywy/p/11139508.html