robots 作用
减少百度蜘蛛在站内的无谓爬取，避免爬取一些内部程序文件，比如xxx.php
下面是我网站的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.zanglikun.com/wp-sitemap.xml网站地图sitemap的优点
核心一点就是：给搜索引擎说 我网站有哪些可以去收录！
- 为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看;
- 为搜索引擎蜘蛛提供一些链接, 指向动态页面或者采用其他方法比较难以到达的页面;
- 作为-种潜在的着陆页面，可以为搜索流量进行优化;
- 如果访问者试图访问网站所在域内并不存在的URL,那么这个访问者就会被转到”无法找到文件”的错误
- 页面，而网站地图可以作为该页面的“准”内容。
百度不在支持索引型Sitemap！
索引型Sitemap：是百度的概念， 即：一个Sitemap包含了子Sitemap的地址。
如何使我们的Robots与Sitemap起作用？
等，是不可能等的，这辈子都不可能等的！要去百度站长平台分别提交Robots、Sitemap
Robots：
Sitemap：
据说 Sitemap收录大概需要7天！
特殊说明： 以上文章，均是我实际操作，写出来的笔记资料，不会盗用别人文章！烦请各位，请勿直接盗用！转载记得标注来源！
收_心
769
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
