robots.txt

最新推荐文章于 2022-10-10 22:07:33 发布

HPUZ

最新推荐文章于 2022-10-10 22:07:33 发布

阅读量780

点赞数

分类专栏： ruby on rails 文章标签： rails

本文链接：https://blog.csdn.net/xiao_xiao_c/article/details/78311421

版权

ruby on rails 专栏收录该内容

80 篇文章 0 订阅

订阅专栏

Rails 中的 robots.txt

# See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-agent: *
# Disallow: /

“ User-agent：* ”表示本节适用于所有机器人。“ Disallow：/ ”告诉机器人它不应该访问网站上的任何页面。

使用/robots.txt时有两个重要的注意事项：

机器人可以忽略您的/robots.txt。特别是扫描Web的恶意软件机器人的安全漏洞，以及垃圾邮件发送者使用的电子邮件地址收集器将不会引起注意。
/robots.txt文件是公开可用的文件。任何人都可以看到您的服务器的哪些部分不希望机器人使用。

# https://www.taobao.com/robots.txt 页面

User-agent:  Baiduspider
Allow:  /article
Allow:  /oshtml
Allow:  /wenzhang
Disallow:  /product/
Disallow:  /

User-Agent:  Googlebot
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Allow:  /list
Disallow:  /

User-agent:  Bingbot
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Allow:  /list
Disallow:  /

User-Agent:  360Spider
Allow:  /article
Allow:  /oshtml
Allow:  /wenzhang
Disallow:  /

User-Agent:  Yisouspider
Allow:  /article
Allow:  /oshtml
Allow:  /wenzhang
Disallow:  /

User-Agent:  Sogouspider
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /wenzhang
Disallow:  /

User-Agent:  Yahoo!  Slurp
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Allow:  /list
Disallow:  /

User-Agent:  *
Disallow:  /