应对掘金CDN开启防盗链 记一次爬取markdown图片的经历

使用markdown写文章有什么好处?

markdown是一种纯文本格式(后缀.md), 写法简单, 不用考虑排版, 输出的文章样式简洁优雅
markdown自带开源属性, 一次书写后, 即可在任意支持markdown格式的平台发布 (国内支持的平台有, 掘金, 知乎(以文档方式导入), 简书(原本是最好用的, 最近在走下坡路))
著名代码托管平台github, 每个代码仓库的说明书README.md就是典型的markdown格式

原来我喜欢在 掘金或简书后台 写markdown文章, 然后复制粘贴到 gitbook(前提是gitbook已经和github做了关联), 就可以发布到github仓库, 由于内容很吸引人, 在github收获一波stars(stars相当于点赞)

但最近掘金和简书等平台突然宣布, 在自己网站存储的图片不再支持外链, 也就是在其它网站请求本站服务器存储的图片一律404 ! 简书是直接封了外链; 掘金发了一个公告, 延期一周执行;

怎么办?
我只好将md文档保存到本地, 然后根据md保存的源图片信息,使用爬虫爬取图片到本地, 然后将图片上传到github仓库(github仓库支持图片上传, 而且不封外链), 将原图片信息替换为github仓库保存的图片信息
首先在github新建一个名为 GraphBed 的仓库, 用来存储图片

将仓库clone到本地 的 /Users/lijianzhao/github文件夹

cd /Users/lijianzhao/github
git clone https://github.com/zhaoolee/GraphBed.git
复制代码

并保证 在此文件夹下, 有权限push到github, 权限添加方法 www.jianshu.com/p/716712278…
将github已有的.md文章对应的仓库下载到本地(以星聚弃疗榜为例)
git clone https://github.com/zhaoolee/StarsAndClown.git
复制代码

编写python脚本 md_images_upload.py

此脚本:

能搜索当前目录下所有md文件, 将每个md中的图片爬取到本地, 存放到/Users/lijianzhao/github/GraphBed/images目录;
图片爬取完成后, 自动将/Users/lijianzhao/github/GraphBed/images目录下的所有图片, push到Github
使用Github中的新图片地址,替换原图片地址
大功告成

import os
import imghdr
import re
import requests
impo