爬网控制功能允许您控制 Bingbot 请求页面和资源的速度 在您的网站上。您可以告诉 Bingbot 比正常抓取速率更快或更慢地抓取您的网站,对于每个 一天中的24小时。这样,当有更多访问者时,您可以限制Bingbot在您网站上的活动 您的网站,并允许 Bingbot 在较安静的时间抓取更多内容。
注意 |
---|
如果我们在您的 robots.txt 文件中发现抓取延迟指令,那么它将始终优先于 来自此功能的信息。 |
如何使用预设设置爬网模式
使用预设爬网模式
设置优化访问者带宽的爬网模式的最简单方法是使用列出的预设 在“您的网站收到大部分流量的时间”下。您可以使用这些预设来指示最繁忙的 您网站上的一天中的时间,基于您当地的时间。选择任何预设时,将自动 通过告诉 Bingbot 在这些时间爬网得更慢,在另一个时段爬得更快来优化爬网模式 小时。只需单击页面底部的保存更改即可存储此设置。
以下示例显示了一个站点,该站点选择将本地时间预设为上午 9 点至下午 5 点预设为最繁忙的时间 网站,导致反向爬网模式,允许 Bingbot 在这些时间之外更快地爬网速度:
默认情况下,在确定时区时会考虑系统时间。如果您正在工作 另一个国家,想根据其他时区修改Bingbot的抓取速度小时数,您可以选择 时区下拉列表中的相关时区,并相应地修改爬网模式。
设置自定义爬网模式
您还可以通过将鼠标移到多维数据集上并按住鼠标左键来自定义每小时爬网模式 向下并将其拖动到 x 轴上表示的时间线的所需象限数。更多蓝色 象限表示来自 Bingbot 的访问次数较多(爬网速度更快),象限越少表示相反(爬网速度较慢)。这 每个时间片默认为 5 个象限,即 5 个蓝色象限表示算法确定的 您网站的基准抓取速率。向上或向下移动它们会根据 基准抓取速率,为您的网站自动确定。当您对模式感到满意时,只需单击保存更改即可存储设置。