使用双仓库+多路解析解决Github Pages无法被百度搜索收录的问题

本文介绍了如何通过双仓库(Github Pages + Coding Pages)结合多路DNS解析策略,解决百度爬虫无法抓取Github Pages内容的问题。详细讲述了配置过程,包括 Coding Pages 的设置、域名解析配置以及解决HTTPS证书问题的方法。
摘要由CSDN通过智能技术生成

背景介绍

Github Pages + Hugo 搭建静态博客一文中,介绍了如何使用Github pages搭建个人博客。搭建博客后发现Google已经收录了,但是百度却迟迟没有收录,使用百度的“搜索资源平台-抓取诊断”功能对网站进行抓取测试发现抓取失败了,结果为403 Forbidden。
403 Forbidden
出现这个错误的原因是Github屏蔽了百度爬虫的抓取。这个该怎么解决呢

可选的解决方案

  1. **当百度不存在:**这个方案最方便,实现起来也最简单,但是作为中文网站,大部分的人可能还是通过百度来发现网站内容的,抛弃百度等于是和相当一部分的读者Say goodbye了。Pass
  2. **抛弃Gihub pages,使用其他产品(VPS,Gitlab等):**VPS需要花钱、花精力去维护,Gitlab响应速度要比Github慢接近一倍。Pass
  3. **使用CDN:**这个方案需要网站有一定的访问量,并且需要花钱买服务(短期免费的CDN也只能维持一段时间,不可持续),Pass
  4. **双仓库+多路解析:**使用Coding pages 和 Github pages双站点,结合多路解析实现让百度爬虫访问Coding pages,其他用户直接访问Github pages。这个需要有自己的自
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值