网站robots文件中到底要不要屏蔽JS和css

　　网站robots文件中到底要不要屏蔽JS和css?最近发现百度蜘蛛每日抓取网站的js和css文件非常频繁，甚至能占每日抓取量的五分之一，百度蜘蛛每日抓取5000次，其中单独抓取js和css文件就有一千多次。遇到这种情况，是否应该屏蔽蜘蛛抓取上述文件?

　　一、robots全部屏蔽掉不太建议，因为随着网页的发展，资源种类越来越多，蜘蛛需要分析;

　　二、根据之前看到的百度对网页主体内容模板的专利的简单介绍可以得出下面几个观点：

　　1、百度能够根据前台页面的链接布局、框架，判断出一个站点的主要页面类型，及各页面适合用户浏览的主体内容;

　　2、因此如果js、css等如果对蜘蛛判断站点的主体内容没有什么影响，比如遮罩、跟踪用户行为返回区域内容变化，那么屏蔽完全可以，但是从实际的例子来说可能对站点其他主体内容页面的抓取频次没有多大帮助，因为主体内容与js、css本来就互不相关的两类东西;

　　3、如果js、css等如果对蜘蛛判断站点的主体内容有影响，如包含较多网址、图片地址、有效资源地址、文字资源等建议不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的内容，并且尽量简单处理，不要采用ajax或多重逻辑判断的代码;

　　上述关于网站robots文件中到底要不要屏蔽JS和css。只是杭州SEO强强的个人见解!当然也有一些站长认为是不要用robots屏蔽JS和CSS文件。所以如果你有什么不一样的简介，可以在本文下方提出意见。

　　杭州seo博客 http://www.qqseoyh.com/