Google推出数据集搜索！百度，你怎么看？

最新推荐文章于 2023-01-06 12:05:59 发布

AI科技大本营

最新推荐文章于 2023-01-06 12:05:59 发布

阅读量605

点赞数 1

本文链接：https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82455891

版权

640?wx_fmt=png

作者 | 非主流

出品 | AI科技大本营（公众号ID：rgznai100）

继 Google Scholar（Google 学术搜索）之后，Google 又为科研工作者推出了一款重磅产品—— Google Dataset Search（Google 数据集搜索）。

网址：

https://toolbox.google.com/datasetsearch

为什么说这款产品如此重要？因为数据从未如此重要。由于深度学习的兴起，AI 研究员需要大量的数据来训练他们的模型，吴恩达就曾表示，深度学习像火箭，计算是引擎，数据是燃料。有时候，数据可能比算法更重要。

然而，数据集和相关数据往往分布在网上的多个数据存储区中。在大多数情况下，搜索引擎既无法提供这些数据库相关信息的链接，也不会将这些信息编入索引，这会导致数据寻找变得无比繁琐，或者在某些情况下无法实现。

一些掌握了大量数据的互联网公司也因此拥有很大的优势，而高校的学者除了一些公开的知名数据集，想要拥有大量的数据则非常困难，因此 Google 的这款产品可谓是及时雨。当然，其他需要各种数据的工作者也能从中受益。

Google Dataset Search 为用户提供了能够同时搜索多个存储区的单个界面，希望借此改变用户发布和运用数据的方式。

现在，就让我们来一起看下这款搜索工具。

与 Google Scholar 类似，Google Dataset Search 可方便用户查找托管在任何位置的数据集，无论是出版网站、数字图书馆还是作者的个人网页。

为了创建 Dataset Search，Google 还为数据集提供方制定了一套数据指南（https://developers.google.com/search/docs/data-types/dataset）。这些指南包括有关数据集的重要信息：数据集的作者，发布时间，数据收集方式，使用数据的条款等等。然后，Google 收集并链接这些信息，分析同一数据集的不同版本可能在哪里，并找到可能描述或讨论这一数据集的出版物。

Google 的指南是基于一个数据集的开放标准（schema.org），任何发布数据的人都可以通过这种方式描述他们的数据集。

640?wx_fmt=jpeg

在这个新版本中，用户可以找到很多环境和社会科学相关的数据集，以及其他学科的数据，包括政府数据和新闻机构提供的数据，如 ProPublica。随着越来越多的数据仓库使用 schema.org 标准来描述他们的数据集，Google Dataset Search 能够搜索到的数据集的种类和覆盖面将持续增长。

目前 Google Dataset Search 已经支持多种语言，笔者尝试了下，除了英文，还支持中文。

我们先尝试下英文搜索，如果你想分析天气记录，那么就可以在 Google Dataset Search 的输入栏里尝试输入“daily weather”，结果如下图所示： 640?wx_fmt=png