robots和sitemap

robots地址：http://www.robotstxt.org

相关文章引用：http://www.dunsh.org/2006/08/02/robotstxt/

robots.txt文件是用来声明允许爬虫访问内容的文件

sitemap（可理解为站点可抓取内容映射）:

地址：http://www.sitemaps.org

sitemap百度百科：http://baike.baidu.com/view/1072062.htm

网站管理工具：

相关文章：http://www.360doc.com/content/10/0619/14/426561_33984402.shtml

项目中有一个googleXXXXXXXXXXXXXXXX.html类型的文件内容为google-site-verification: googleXXXXXXXXXXXXXXXX.html

在google的网站站长工具网站上添加确认自己的网站即可获取到相关的内容，添加到王章项目中即可，并添加sitemap信息通知google的网站的相关更新状况。