认识网页抓取：一切都交给AI，还是加点“人情味”？

全文共2618字，预计学习时长7分钟

图源：unsplash

 

“互联网上有很多数据”，这么说太保守了。事实上，2020年，“数字宇宙”预计将拥有40万亿字节或40泽字节（zettabytes）的信息，一个泽字节拥有的数据足以填满大约五分之一曼哈顿大小的数据中心。

 

可供分析的信息如此之多，将收集数据的任务留给AI就显得合情合理了。网络机器人能以令人难以置信的速度抓取网页，提取所需的相关信息。不过，尽管许多数据科学家和营销人员以一种完全合乎伦理的方式获取和使用这些信息。但很遗憾，随着网络人工智能日益普及，网络机器人还是逐渐被污名化了。

 

对人工智能的大部分负面印象是由好莱坞电影和科幻小说间接造成的，毕竟在这些作品中，即使最美好惬意的时候也要提防着AI。此外，某些web用户以不道德的方式使用网络机器人，导致即便是专业、诚心使用数据的人也备受打击。

 

对于许多专业人士来说，网页抓取仍然是必不可少的工具。那么，对于与网络机器人的污名，我们能做些什么呢？

 

首先，网页抓取是什么

 

你可以简单地把网页抓取行为理解为数据提取。尽管数据科学家和其他专业人士使用抓取来分析非常复杂的数字信息栈，但从网站复制粘贴文本的行为本身就可以被认作一种简单的抓取形式。

 

然而，就算可以在网站上尽情访问，由于可用信息太多，可能也要花费非常长的时间从来源处收集数据。大多数情况下，网页抓取都是留给人工智能来完成的，人工智能会将检索到的数据进行透彻分析以达到各种目的。虽然这对网络爬虫来说极为便利，但网站所有者和旁观者都非常担心人工智能在网络上的“滥用”

 

使用网络机器人进行网页抓取会更好吗

 

有这么多的信息要分析，求助于人工智能来收集数据理所当然。实际上，谷歌本身就是为感兴趣的各方提供网页抓取工具最可信的来源之一。例如，你可以使用其数据集搜索引擎快速访问认为可以免费使用的数据，甚至能定制搜索，以了解这些信息是否可用于商业用途。完成这些任务只需要几秒钟。

 

如果没有谷歌AI如此高效检查每个网站的相关数据，恐怕无法实现这样的速度。这是一个利用人工智能以纯道德的方式为研究或商业收集有用信息的完美例子，其速度之快也证明了“网络机器人”如何让执行网页抓取任务变得如此容易。

 

人工智能流量变得如此普遍，如今已经占到互联