利用Ajax实现条件筛选过滤 减少蜘蛛对无效页面的爬行

 

 

对于很多B2C网站 ，房产网，分类信息网来说，很多时候都有着多条件筛选的页面。比如下面从上图可以看到，这个条件可以组合出来的URL数是8x6x6x9x10x4x4=414720，这个数字真的很惊人的多，从数据上看，的确可以为网站增加很多的页面，同时还可能增加很多长尾，但从另个角度想，蜘蛛到一个页面停留的时间是有限的，蜘蛛到达页面后，光来爬行这414720个URL都不可能爬完，哪还有时间去爬行有价值的页面？所以我们要懂得取舍，对于这种条件太多的，就只能舍弃掉长尾，不让蜘蛛爬行。这里，我们用了Ajax来实现，用 Ajax 的好处有二个，一个就是可以提高用户体验，另一个就是可以减少蜘蛛对这惊人数量的URL进行爬行。完成后代码如下图

本文由青岛开发区房产网 http://www.hdfcw.cn原创，转载请注明出处。