今天接到了一个任务, 处理软404, 做一个记录。
为什么要处理:
软404太多,会影响谷歌爬虫反复抓取这种没有内容的网页而导致网站降权。
什么是软404:
请求的url返回的是空数据,但是状态是200. 导致无效抓取。
解决方法:
将状态码 返回404或者410(已删除)。 告知搜索引擎,该网页不存在。
今天接到了一个任务, 处理软404, 做一个记录。
为什么要处理:
软404太多,会影响谷歌爬虫反复抓取这种没有内容的网页而导致网站降权。
什么是软404:
请求的url返回的是空数据,但是状态是200. 导致无效抓取。
解决方法:
将状态码 返回404或者410(已删除)。 告知搜索引擎,该网页不存在。