bing搜索抓取错误警报列表

下表描述了我们在以下情况下向通知中心发送的各种抓取错误提醒： 在抓取您的网站时，发现问题数量显著增加或显著增加。

 

问题类别	特定类型	警报	操作消息	评论
400-499	401（未经授权）	我们遇到了大量返回以下状态的请求：401 （未经授权）。	您的服务器拒绝访问您的网页，并且需要其他信息，例如 登录名和密码。检查您是否无意中阻止了登录后的页面，以及 密码。如果这是有意为之，您可以考虑在 机器人.txt以便我们不再尝试抓取您的网页。	当您的服务器以状态代码 401（未经授权）响应我们的请求时，这意味着我们 正在尝试抓取您网站上受密码保护的区域，我们会为此抓取该区域 需要其他身份验证。在工具，以查看这是否是预期的，或者您是否不小心放置了内容 在密码保护区域中。如果这是预期的，您可以考虑将 disallow： 指令添加到您的文件，以便 我们不会花时间（和带宽）抓取这些受保护的 URL。
400-499	403（禁止）	我们遇到了大量返回以下状态的请求：403 （禁止）。	您的服务器拒绝 Bingbot 访问您的页面。检查您是否无意中 阻止服务器上的部分或全部必应机器人请求。	您的服务器可能已配置为仅接受来自特定 IP 范围的必应机器人请求。由于必应机器人 IP 范围可能会随时间而变化，因此您可能会意外阻止有效的必应机器人 请求。您需要检查服务器代码以查看是否是这种情况。查看必应机器人请求是否来自必应计算机而不是可疑爬网程序 欺骗 Bingbot 用户代理，请使用中所述的方法.请注意，您始终可以使用 robots.txt 指令来阻止 Bingbot 抓取 您的网站。如果您觉得我们过多地抓取您的网站，例如在工作时间，请考虑 使用工具，而不是阻止请求。
500-599	5xx（所有服务器错误的聚合）。	我们遇到了导致服务器错误的请求数量增加的情况。	您的服务器报告了大量服务器错误，无法满足我们的请求。这 可能是由临时问题引起的，但也可能是代码错误或 服务器。	如果我们注意到整体服务器错误显著增加，则会触发此警报。原因 这些问题可能会有所不同，但您需要检查服务器日志以查看问题是否 系统的。
500-599	500（内部服务器错误）。	我们遇到了大量返回以下状态的请求：500（内部 服务器错误）	您的服务器报告了内部服务器错误，无法满足我们的请求。它可以是一个 站点代码中的问题或配置错误。	此响应代码指示服务器中存在问题，但没有更多细节。它 表示代码问题或配置问题。您需要检查一些报告此问题的网址 在工具并检查服务器日志以获取其他线索。 SEO培训师
500-599	503（服务不可用）。	我们遇到了大量返回以下状态的请求：503（服务不可用）。	您的服务器报告无法处理我们的请求。这可能是暂时的 问题，但请检查日志和脚本是否存在与性能相关的问题。	当服务器不可用时，将发出此响应代码。也许服务器过载 或当时停机维护。这可能是一个临时问题，但您应该检查 样本在工具（请参阅 500-599 部分）以查看问题是否仍然存在。
500-599	509（超出带宽）。	我们遇到了大量返回以下状态的请求：509（超出带宽）。	您的服务器报告已超出带宽限制，并且无法处理我们的 请求。请检查您的服务器配置。	当您的服务器响应 HTTP 状态为 509（超出带宽）的请求时，这可能意味着 吞吐量问题或您的服务器可能限制了 Bingbot 允许的带宽 消费。不解决这个问题可能会导致全面性和新鲜度问题。一个 控制 Bingbot 每小时抓取网站速度的推荐方法 是使用功能。
爬行礼貌	爬网延迟设置。	机器人中的抓取延迟设置.txt会阻止必应有效抓取。	请移除 robots.txt 文件中的抓取延迟设置。确保您有一个最佳的 在必应网站站长工具上配置的抓取速度设置 爬网控制页。	必应遵循机器人.txt文件中的爬网延迟指令。如果抓取延迟指令 阻止我们有效地抓取您的网站，您将收到此警报。避免使用 爬网延迟指令和控制 Bingbot 使用网站站长工具中的功能。
爬行礼貌	提高爬网率。	您网站的当前抓取设置阻止了必应有效爬网。	请确保您已提高必应网站站长上的抓取速度设置配置 工具爬网控制页。	此提醒表示我们希望更高效地抓取您的网站，但您当前的抓取 控制设置正在阻止我们。您可以使用网站站长工具中的功能。
域名系统问题	大量 DNS 故障。	我们在尝试抓取您的网站时遇到了大量 DNS 故障。	尝试抓取您的网站时，我们遇到了 DNS 故障。这可能是服务器的结果 或 DNS 配置错误。	在某些情况下，负责您网站的 DNS 服务器可能配置错误。一个共同的 问题是设置为 0 的 TTL（生存时间）设置。在其他情况下，DNS 服务可能是 筛选出来自必应机器人的请求。您可以使用以下方法检查这些问题这会告诉你 如果它无法解析 DNS。
连接问题	大量连接问题。	由于连接错误，Bingbot 无法访问您的网站。	这可能是一个临时问题，但您需要检查服务器日志以查看您是否 丢弃请求。	在某些情况下，您的服务器可能会在过载时停止响应。确保您不是 主动拒绝对来自 Bingbot 的请求的连接.