我们在SEO优化一个网站时候,会时常去关注网站日志,进而来分析搜索引擎蜘蛛爬取极其抓取过程。从这上面我们可以得到很多信息,如页面爬取时间,蜘蛛喜欢的页面,对蜘蛛爬取造成负担的页面等,这些都是可以从网站日志中得出的结论。长时间的归纳总结对比,不难发现网站存在的一些潜在问题。
通过百度资源后台我们还能通过抓取频率来大致得出网站的优缺点,但在很多小站中,抓取频率是极其不稳定的,忽高忽低,如坐过山车似的。
针对网站抓取频率低的问题,我们该如何解决,如何才能提高网站抓取频率?(就作者http://www.uimou.com这个站来说,目前的抓取频率也不是很理想)
在互联网关系中,每天蜘蛛需要抓取上亿的URL资源内容,从而在里面进行分析,再透过相互连接,最后才构成了我们所看到的互联网。但蜘蛛抓取后怎么将有价值的东西推送到你面前这就是需要琢磨的地方了。
抓取频率的观察,可以给我们网站SEO优化提供宝贵的意见。
一般蜘蛛的抓取过程是:
爬取页面-内容质量评估-索引库筛选-网页收录-给予排名
但我们还会遇到一个问题,就是网页被收录后,没有好的排名,甚至找不到排名,这是为什么?其实很简单,简单到可以用一句话来概括“该页面内容价值低”。对于这样的页面搜索引擎一般会放到低质量索引库中。如果长期如此,那么网站的内容质量应该想办法提高了,免得整个站都没有排名。
影响网站抓取频率的因素:
1.外部链接:通常说的外链。虽然现在都说外链对网站没有多大用处,但只要有,蜘蛛都会顺着爬取。
2.网站框架:栏目的层次,栏目id的长度,以及网页是否是动态参数等。
3.访问速度:试想一个站点加载半天都加载不出来,估计也没谁回去点了。
4.内容提交:这个别懒惰,每天将网站内容提交一遍搜索引擎,怎么的都会提高抓取频率。
5.更新周期:在网站内容更新上,需要周而复始。高质量高频率的更新,才会吸引蜘蛛访问。
6.熊掌号:在移动方面,这个几乎是100%,收录几乎也是。(虽然现在嗝屁了)
7.原创内容:什么是原创?这个问题一直在互联网圈内讨论,其实不管你是仿写还是完全按照自己思路进行内容制作,我觉得都算。