robots.txt文件的作用及写法 (搜索引擎)
robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。而承载这些协议的文件就是robots.txt文件,那么robots.txt文件到底有啥用途,robots协议应该怎么写,有哪些注意事项,在这本文将详细跟大家介绍。前言:Robots.txt文件的重要性robots.txt是搜索引擎蜘蛛访问网站时要查看的
原创
2020-07-04 14:40:39 ·
3217 阅读 ·
0 评论