背景介绍
在Github Pages + Hugo 搭建静态博客一文中,介绍了如何使用Github pages搭建个人博客。搭建博客后发现Google已经收录了,但是百度却迟迟没有收录,使用百度的“搜索资源平台-抓取诊断”功能对网站进行抓取测试发现抓取失败了,结果为403 Forbidden。
出现这个错误的原因是Github屏蔽了百度爬虫的抓取。这个该怎么解决呢
可选的解决方案
- **当百度不存在:**这个方案最方便,实现起来也最简单,但是作为中文网站,大部分的人可能还是通过百度来发现网站内容的,抛弃百度等于是和相当一部分的读者Say goodbye了。Pass
- **抛弃Gihub pages,使用其他产品(VPS,Gitlab等):**VPS需要花钱、花精力去维护,Gitlab响应速度要比Github慢接近一倍。Pass
- **使用CDN:**这个方案需要网站有一定的访问量,并且需要花钱买服务(短期免费的CDN也只能维持一段时间,不可持续),Pass
- **双仓库+多路解析:**使用Coding pages 和 Github pages双站点,结合多路解析实现让百度爬虫访问Coding pages,其他用户直接访问Github pages。这个需要有自己的自