最近,我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站。在几种情况下,您希望阻止搜索引擎抓取您的网站并将其列在搜索结果中。在本文中,我们将向您展示如何阻止搜索引擎抓取 WordPress 网站。
为什么要阻止搜索引擎抓取 WordPress 网站?
对于大多数WordPress网站来说,搜索引擎是最大的流量来源。你可能会问,为什么有人要劝阻搜索引擎?
以下是您不希望搜索引擎将您的网站编入索引的一些情况:
刚开始时,您可能不知道如何创建本地开发环境或暂存站点,而是在网站上线时开发网站。您不希望 Google 在您的网站正在建设中或处于维护模式时将其编入索引。
也有很多人使用WordPress创建私人博客。他们不希望它们被搜索引擎索引,因为它们是私有的。
您可以使用 WordPress 进行项目管理或内部网。在这些情况下,您不希望您的内部文档可公开访问。
一个常见的误解是,如果你没有指向你的域名的链接,那么搜索引擎可能永远不会找到你的网站。这并不完全正确。
例如,可能存在指向您网站的链接,因为该域名以前归其他人所有。此外,互联网上有数以千计的页面只是简单地列出了域名。您的网站可能会出现在其中之一上。
话虽如此,让我们来看看如何阻止搜索引擎抓取您的网站。我们将介绍四种方法:
要求搜索引擎不要抓取你的WordPress网站
要求搜索引擎不要抓取单个页面
使用cPanel密码保护整个站点
使用插件密码保护 WordPress
方法1:要求搜索引擎不要抓取您的WordPress网站
这是最简单的方法,但并不能完全保护您的网站不被抓取。
WordPress 带有一个内置功能,允许您指示搜索引擎不要索引您的网站。您需要做的就是访问“设置”»“阅读”,然后选中“搜索引擎可见性”旁边的框。
选中此框后,WordPress 会将以下行添加到您网站的标题中:
<meta name=``'robots'` `content=``'noindex,follow'` `/>
WordPress 还会修改您网站的robots.txt 文件,并向其添加禁止规则:
User-agent: *``Disallow: /
这些行要求机器人(网络爬虫或机器人)不要索引您的网页。但是,完全取决于搜索引擎是否接受或忽略此请求。尽管大多数搜索引擎都尊重该请求,但您网站上的某些页面或图像仍有可能被编入索引。
如果你想让搜索引擎无法索引或抓取你的网站,那么你需要使用方法3或4对你的WordPress网站进行密码保护。
方法2:要求搜索引擎不要抓取单个页面
您可能希望搜索引擎抓取您的网站并将其编入索引,但不要在搜索结果页面中包含特定帖子或特定页面。
最简单的方法是使用多合一 SEO (AIOSEO) 插件。它是 WordPress 最好的 SEO 工具,受到超过 3 万家企业的信任。
在本教程中,我们将使用 AIOSEO 免费版本,因为它包括 SEO 分析工具。还有一个高级版本的 AIOSEO,它提供了更多功能,如站点地图工具、重定向管理器、模式标记、robots .txt 编辑器等。
您需要做的第一件事是在您的网站上安装并激活 AIOSEO 插件。您可以按照我们关于如何为 WordPress 设置多合一 SEO 的分步指南来学习如何安装和配置插件。
设置插件后,您可以使用它来要求搜索引擎不要索引某些帖子和页面。同样,完全取决于搜索引擎是否接受或忽略它。
只需编辑您不想被编入索引的帖子或页面即可。您需要向下滚动到 WordPress 编辑器底部的 AIOSEO 设置,然后单击“高级”选项卡。
请注意,本文使用的是默认的机器人设置。
要更改此设置,您需要将“使用默认设置”开关切换到关闭位置。
现在,您可以单击“无索引”复选框。一旦帖子发布或更新,搜索引擎将被要求不要将其编入索引。
方法3:使用cPanel密码保护整个站点
如果您的 WordPress 托管服务提供商提供 cPanel 访问权限来管理您的托管帐户,那么您可以使用 cPanel 保护您的整个网站。
您所要做的就是登录到cPanel仪表板,然后单击“文件”部分中的“目录隐私”图标。
接下来,您需要找到安装 WordPress 的文件夹。通常,它是public_html文件夹。
之后,只需单击该文件夹旁边的“编辑”按钮。
注意:如果您在该目录下安装了多个 WordPress 站点,则需要单击链接以浏览这些站点,然后编辑要密码保护的网站的文件夹。public_html``public_html
这将带您进入一个屏幕,您可以在其中打开密码保护。
只需选中“密码保护此目录”框,然后单击“保存”按钮。如果您愿意,还可以自定义受保护目录的名称。
您将看到一条确认消息,指出该目录的访问权限已更改。
接下来,您必须单击“返回”按钮。
您将被带到一个屏幕,您可以在其中创建访问此目录时需要使用的用户名和密码。
您需要输入用户名和密码,然后确认密码。请务必在安全的地方记下您的用户名和密码,例如密码管理器应用程序。
单击“保存”按钮后,您已成功将密码保护添加到您的 WordPress 网站。
现在,每当用户或搜索引擎访问您的网站时,系统都会提示他们输入您之前创建的用户名和密码来查看该网站。
方法4:使用插件密码保护WordPress
如果您使用的是托管 WordPress 托管解决方案,那么您可能无法访问 cPanel。在这种情况下,您可以使用 WordPress 插件对您的网站进行密码保护。
以下是两种最流行的解决方案:
SeedProd 是 WordPress 的 #1 即将推出和维护模式插件,用于超过 800,000 个网站。它具有完整的访问控制和权限功能,您可以使用这些功能向所有人(包括搜索引擎)隐藏您的网站。我们为 SeedProd 提供了分步操作指南。
密码保护是一种非常简单的方法,可以使用单个密码对WordPress网站进行密码保护(无需用户创建)。
我们希望本文能帮助您阻止搜索引擎抓取或索引您的 WordPress 网站。