消息来源: http://www.kottke.org/09/01/the-countrys-new-robotstxt-file
美国新总统奥巴马所倡导的变革思想似乎在他上任的第一天就在白宫网站 上体现出来了。和之前布什两千四百行的robots.txt 对比起来,“奥巴马版”的robots.txt 则只有短短的两行
User-agent: * Disallow: /includes/
消息来源: http://www.kottke.org/09/01/the-countrys-new-robotstxt-file
美国新总统奥巴马所倡导的变革思想似乎在他上任的第一天就在白宫网站 上体现出来了。和之前布什两千四百行的robots.txt 对比起来,“奥巴马版”的robots.txt 则只有短短的两行
User-agent: * Disallow: /includes/