为什么看博客的时候里面的链接总是 404

为什么看博客的时候里面的链接总是 404

作为一个野路子程序员，看大牛的博客是学习，进步的很重要的一个信息来源。
作为一个信息的汇聚点，博客中总会引用些其他的经典文章，或是某开源项官方文档中的重要部分。
然而由于更新博客是很低频率的事件，所以随着时间推移，很可能发生的情况是：大牛引用的另一篇文章
已经被删除，或者干脆域名到期，引用的博客关门大吉；由于开源项版本升级，原先的文档已经不适用因而
官方删除了。
So, 404...

现状

尝试测试了 阮一峰(http://www.ruanyifeng.com/blog/)， 王垠(http://www.yinwang.org/) 等知名博主的博客，发现几乎都有链接失效的问题。
可见此问题很常见。

博主

大多数的博主并不是通过写博客盈利赚钱，所以不可能定期去检查以前博文中的链接是否有效。
话说回来，即便真的是通过写博客盈利赚钱，那么多的博文，也不太可能定期去检查以前博文中的链接是否有效吧。。

读者

虽然对我很不友好，破坏了上下文和文章的完整性，但是
习惯了。。认了吧。。。凑合看吧。。

中国特色

由于众所周知的原因，中国读者遇到引用链接不可访问的情况更多，并且不可访问的链接越来越多。

作为一个独立开发者，用了若干个第三方服务，CDN 等。天有不测风云风云，保不齐哪天哪个服务商就黄了，或者哪个 CDN
又被墙了。。。

尝试解决

一个可能的解决方法 link doctor

https://doctor.dry.ninja/

博主（站长）在网站注册后，系统尝试定期（每6小时1次，可设定）对网站进行一次分析，找出失效的引用的链接，或是失效的引用的资源(js, css)，
并将分析结果发送给博主（站长）。

目前刚刚有想法做这个东西，并做了个简单的 Demo。
在检测的全面性和精准度方面还不做保证。如果真的有博主有这个需求，请收藏、标星。如果没有人有需求的话，就弃坑了。。
或者有什么好的建议的话，欢迎提个 issue。

github 地址在此：
https://github.com/FingerLiu/...

待解决问题

• 爬虫被 ban
• 由于国内和国内网络环境不同，分别部署不同的服务器
• 什么需要检测什么不需要
• 对引用的链接进行备份(snapshot)。