采集程序和小偷程序是非常类似的程序,采集程序是基于小偷程序的技术,但是多了入库等更多操作。一般意义上的小偷程序是读取源站内容之后,不写入数据库,直接返回给访客观看,而采集程序则将内容存入数据库,显示数据时再从数据库中查出来。
因此小偷程序不占用自己的网站磁盘,非常节约磁盘。但是缺点也就产生了,因为不在本地保存这些数据,因此每次访问都需要先去源站读取一次,打开速度就要多多少少慢一些。当源站出现问题,打不开的时候,我们的小偷程序也跟着打不开了,所以就有不稳定的时候出现了。而采集程序因为已经将数据采到了自己的数据库,网站显示的数据来自自己的数据库,因此不受源站的牵制。
可以这样说,采集程序 = 小偷程序 + 入库(本地化)!
归纳起来,二者区别是:小偷程序的数据每次都从源站读取,硬件和人力投资最小,数据是最新的,但性能和稳定性方面较差;采集程序需专人采集,采到数据后就与源站断开了联系,数据从自己的数据库读取,但如果长时间没有再次采集,数据则不是最新。