robots文件设置是否能被爬取
文件位置:
public\robots.txt
允许所有的robot访问
User-agent: *
Disallow:
要从搜索引擎中删除您的网站,并防止所有漫游器在以后抓取您的网站,请将以下文本替换掉robots.txt
User-agent: *
Disallow: /
robots文件设置是否能被爬取
文件位置:
public\robots.txt
允许所有的robot访问
User-agent: *
Disallow:
要从搜索引擎中删除您的网站,并防止所有漫游器在以后抓取您的网站,请将以下文本替换掉robots.txt
User-agent: *
Disallow: /