1、robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:
Disallow:禁止抓取的目录/d,可写多个
通过代码,即可告诉搜索引擎不要抓取采取收录本网站。
2、网页代码
在网站首页代码与之间,加入<metaname="robots"content=“noarchive”>代码,此标记禁止搜索引擎抓取网站并显示网页快照。
1、robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:
Disallow:禁止抓取的目录/d,可写多个
通过代码,即可告诉搜索引擎不要抓取采取收录本网站。
2、网页代码
在网站首页代码与之间,加入<metaname="robots"content=“noarchive”>代码,此标记禁止搜索引擎抓取网站并显示网页快照。