可使用robots协议：建立robots.txt 文件，上传至网站根目录：
屏蔽所有搜索引擎爬取网站的语法：
User-agent: *
Disallow: /允许所有搜索引擎爬取网站所有内容
User-agent: *
Allow:/
只禁止百度抓取你网站的内容
User-agent: Baiduspider
Disallow: /
只允许百度抓取你网站的内容
User-agent: Baiduspider
Allow:/
User-agent: *
disallow: /
扫一扫
1003
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
