u014354679的专栏

原创 菜鸟SEOer浅谈robots

做SEO应该知道，robots.txt文件是一个网站必不可少的文件，但小马看到在很多中小企业的网站上还是没有这个文件，今天我们便来研究一下robots.txt文件的重要性。 　　一：从搜索引擎角度 当我们网站上有一些文件不想被搜索引擎蜘蛛抓取时，我们需要写个robots.txt文件，以此来告诉蜘蛛，这些文件不能被抓取，但是有的企业认为自己网站上没有不想蜘蛛抓取的内容，所以就忽略了rob