爬虫、蜘蛛、机器人有什么区别?

蜘蛛:

我最早知道这类程序存在,听到的名字就是蜘蛛;

最早知道的蜘蛛应该就是BaiDuSpider;

怎么知道的?

现在已经记不清了,大概是当时在做网站流量统计的时候,由于记录的网站用户请求的UserAgent内容,所以在访问记录中可以看到它留下的足迹。

网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。
爬虫:
这个条目所描述的内容英文名叫做Web Crawler,这是有正规定义的,参见维基百科 Web crawler。业界内也很少叫蜘蛛的,一般都叫做网络爬虫,Spider只是个别爬虫的名称。
机器人:
起初只有一种机器人,也就是具有爬虫功能的机器人,而现在出现了各种各样的机器人,所以这个名字已经不再适合用来称呼爬虫了。
【爬虫】系列文章目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值