Google收录链接之前是要先用蜘蛛爬取!
1.搜索引擎抓取门槛
网站速度
搜索引擎蜘蛛抓取也是需要成本的,所以速度慢的网站必然是搜索引擎不喜欢抓取的,所以想要收录好排名好,必须要重视网站速度。
用户体验
网站体验也是搜索引擎考虑的重要因素,前面说到的网站速度影响着网站点击率,而用户体验呢,就是影响网站的留存率,停留的时间跟点击的页面,对于网站的收录也是很重要的,浏览体验差。这种网站的搜索引擎也不愿意去抓取。
2.引导搜索引擎蜘蛛抓取
网站结构
爬虫在获取一个新的网址之后最先是去抓取网站首页,然后从首页里出现的链接在依次往下层抓取,让爬虫更加顺畅地爬取网站的所有页面,所以网站首页菜单里最好出现分类目录,以确保页面链接能够全部收录。
页面链接格式
页面链接一定不能包含动态参数,搜索引擎会认为这篇动态内容,不愿意抓取。
页面链接一定要是固定链接,每个链接谷歌都会计算权重的。如果链接变了,就是从零开始,权重没了,掉出google排名。
用英文单词做链接,可以作为关键词的一部分,有些人喜欢用id编码作为文章链接,对排名没好处。
禁止抓取不重要的链接
有人可能认为收录的页面越多网站权重就会越高,这是好事呀!
其实不是这样的,还是那句话搜索引擎蜘蛛抓取是有成本的,对于一个新站来说,搜索引擎抓取地非常勤快,但是过了几个月之后,抓取的额度就会降低,那这些不重要的页面就有可能会占用抓取的额度,使那些想要被收录的页面没有被收录或者重要页面更新也没有及时反馈给谷歌。
所以网站根目录下需要一个robots.txt
文件来设置搜索引擎抓取规则。
提交重要链接
如果你需要那些重要的链接能够被及时抓取,那就生成网站地图sitemap.xml文件,把希望被收录的链接都包含进去。 一般每个商城程序都自带这种功能的。
3. Google收录影响因素
抓取了并不等于收录了,如果你写的文章内容早就是别人写过无数次的,google是不愿意收录太多重复内容的。那如何促进google收录呢?
自己去别的论坛引流,页面访问量增加了,google就愿意收录了。
而且已收录的页面也可能会因为长期没有访问量而掉出google收录,这再次也是前面禁止搜索引擎抓取不重要链接的原因之一。