sitemap、robots.txt以及404问题对网站优化的帮助

sitemap<网站地图>对优化是具有极大帮助的，但百度等这样的网站我们是不能提交的(google可以，百度需要邀请)，那么我们要用到robots.txt这个文件了，用一个空的robots.txt文件就可以了，然后加上sitemap地址，示列：
User-agent: * 　　
Allow:
Sitemap: http://域名/sitemap.xml
而404问题是一旦页面无法访问后，就出现一系列代码，是很不好的，如果加上自己所做的页面，对于优化帮助是非常大的，另一方面，因为网站有的东西可以不需要百度访问，比如后台等一些管理文件，用robots.txt可以拒绝百度访问，所有的搜索引擎都是遵守robots.txt的规则的！