人工智能学习笔记——数据获取1

人工智能流程大概如下：问题模式化——>收集或处理数据——>训练模型——>开始预测——>性能检测——>处理数据——>训练模型.......其中获取数据是一个难题。主要有两个办法，第一是找到数据集，第二是生成数据。

一、收集数据

首先是需要判断自己需要什么样的数据，然后收集数据。

收集数据有两个途径：1、寻找现有的数据集，2、根据实际情况亲身收集数据，3、爬取数据。

（一）寻找现有的数据集

数据集大致从论文、各个竞赛或者谷歌等网站上收集，例如：

1、Paperwithcodes 论文相关数据集 The latest in Machine Learning | Papers With Code提供了学术论文和相关的数据，并且给出了这个论文在数据集上面的运行表现

2、 Kaggle Kaggle: Your Machine Learning and Data Science Community除了竞赛数据集以外，很多用户也上传数据集, 这些用户上传的数据集质量鱼龙混杂.

3、google 数据集搜索. https://datasetsearch.research.google.com/

4、维基百科中关于数据集的列表 https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research 其中收录了一系列的数据集

5、MNIST: 手写数字数据集 MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges

6、 imageNet : 大规模图片数据集 ImageNet

7、AudioSet: 油管的声音片段数据 https://research.google.com/audioset/

8、Kinetic : 油管人类动作视频片段 Google DeepMind

9、KITTI : 无人驾驶数据集 The KITTI Vision Benchmark Suite

10、Amazon Review: 亚马逊用户评价数据 https://s3.amazonaws.com/amazon-reviews-pds/readme.html

11、SQuAD: 维基百科问答 The Stanford Question Answering Dataset

12、LibriSpeech : 有声书数据集 https://www.tensorflow.org/datasets/catalog/librispeech

（二）爬取数据

爬取数据就不细写，网上有很多方法。

二、数据生成

主要有两个办法：GAN生成数据和数据增强。

数据增强大致就是将一份数据生成一系列相似的数据，比如说以一张图片为蓝本, 生成一系列相似，但又有差别的图片。