啥叫蜘蛛?啥叫爬虫?啥叫网页抓取机器人? 反正这些个虫子谷歌有、百度有、必应有、搜搜、 国安有、MSS/FBI/CIA/NSA/DIS/CPC、俄罗斯有、岛国有,所有搞搜索引擎的机构都有,不搞搜索引擎的机构也有(CCTV没有)。 这些虫子,一窝一窝的,甚是厉害、甚是可怕,"华虫"见了都得躲着走。 防的一方不惜工本,迫使抓的一方在考虑成本效益后放弃 抓的一方不惜工本,防的一方在考虑用户流失后放弃