[转载] 机器学习数据集统计系列一

最新推荐文章于 2023-08-15 17:18:32 发布
最新推荐文章于 2023-08-15 17:18:32 发布
阅读量318 收藏 4
点赞数
原文链接：http://www.cnblogs.com/marsggbo/p/9948375.html
版权
作者：宋天龙
链接：https://www.zhihu.com/question/63383992/answer/222718972
来源：知乎

1. 综合数据集

UCI数据集

UCI数据集中包括了众多用于监督式和非监督式学习的数据集，数量大概400多个，其中很多数据集在其他众多数据工具中被反复引用，例如Iris、Wine、Adult、Car
Evaluation、Forest Fires等。

每个数据集中都有关于数据实例数、数据产生领域、值域分布、特征数量、数据产生时间、模型方向、是否有缺失值等详细数据介绍，可用于分类、回归、聚类、时间序列、推荐系统等。

推荐度：★★★，推荐应用方向：监督式、非监督式机器学习，数据挖掘

介绍和下载地址：

UCI KDD数据集

UCI KDD（知识发现）是数据挖掘和可视化的研究项目，专注于大型数据收集中的实体事件关系。它是涉及几所大学的更广泛的KDD项目的一部分，UCI始于2002年10月。

推荐度：★★，推荐应用方向：监督式、非监督式机器学习

介绍地址：

下载地址：

雅虎Webscope

雅虎Webscope用于为学者和其他科学家在非商业用途中使用。所有数据集已经过审查，以符合雅虎的数据保护标准，包括严格的隐私控制。数据集中包含了多个主题数据集：广告和市场营销、自然语言数据、科学数据、图形和社会化数据、图像数据等7个主题。需要注意的是：数据集只适用于同意数据共享协议的教师和大学研究人员的在学术上使用。

推荐度：★★★，推荐应用方向：监督式、非监督式机器学习、深度学习、自然语言理解等

介绍和下载地址：

AWS 公开数据集

亚马逊提供的数据集涵盖气候、红外图像、卫星遥感、人类微生物、日本人口普查、公共电子邮件档案、歌曲、材料安全、谷歌图书语料库、石油等非常多的主题数据，并且这些数据可直接集成到AWS进行数据挖掘和学习。

推荐度：★★★，推荐应用方向：监督式、非监督式机器学习、深度学习、神经网络、自然语言理解等

介绍和下载地址：

斯坦福网络数据集

斯坦福网络分析平台（SNAP）是一种用于分析和操纵大型网络的通用高性能系统，其本身使用的网络相关数据也对外开放，包括设计、社区、通信、网络图、互联网、道路、维基百度网络、在线社区和评论等不同主题，可用于分析大型社会和信息网络方面的研究成果。

推荐度：★★★，推荐应用方向：神经网络

介绍和下载地址：

KONECT网络数据集

KONECT数据集是一个大型网络数据集的项目，在科布伦茨-兰道大学网络科学与技术研究所的网络科学和相关领域进行研究。KONECT包含数百种各种类型的网络数据集，包括有向、无向、二分、加权、未加权、签名和评级的网络。 KONECT的网络覆盖了许多不同领域，如社交网络，超链接网络、作者网络、物理网络、交互网络和通信网络等。

推荐度：★★★，推荐应用方向：神经网络

介绍和下载地址：

2. 图像和视频数据集

MNIST数据集

机器学习领域内用于手写字识别的数据集，数据集中包含6个万训练集、10000个示例测试集。，每个样本图像的宽高为28*28。这些数据集的大小已经归一化，并且形成固定大小，因此预处理工作基本已经完成。在机器学习中，主流的机器学习工具（包括sklearn）很多都使用该数据集作为入门级别的介绍和应用。

推荐度：★★★，推荐应用方向：机器学习入门

介绍和下载地址：

CIFAR 10 & CIFAR 100数据集

CIFAR-10数据集由10个类别的60000 32x32彩色图像组成，每个类别有6000张图像。 有50000个训练图像和10000个测试图像。数据集的类别涵盖航空、车辆、鸟类、猫类、狗类、狐狸类、马类、船类、卡车等日常生活类别，可用于计算机视觉相关方向。

推荐度：★★★，推荐应用方向：图像处理和图像识别

介绍和下载地址：

谷歌Open Images Dataset图像数据集

其中包括大约9百万标注图片、横跨6000个类别标签，平均每个图像拥有8个标签。该数据集的标签涵盖比拥有1000个类别标签的ImageNet具体更多的现实实体，可用于计算机视觉方向的训练。

推荐度：★★★，推荐应用方向：图像处理和图像识别

介绍地址：

下载地址：

ImageNet数据集

ImageNet数据集是目前深度学习图像领域应用得非常多的一个领域，该数据集有1000多个图像，涵盖图像分类、定位、检测等应用方向。Imagenet数据集文档详细，有专门的团队维护，在计算机视觉领域研究论文中应用非常广，几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。很多大型科技公司都会参加ImageNet图像识别大赛，包括百度、谷歌、微软等。

推荐度：★★★，推荐应用方向：图像识别

介绍和下载地址：

Tiny Images Dataset

该数据集由79302017张图像组成，每张图像为32x32彩色图像。 该数据以二进制文件的形式存储，大约有400Gb图像。

推荐度：★★，推荐应用方向：图像识别

介绍和下载地址：

CoPhIR

CoPhIR是从Flickr中采集的大概1.06亿个图像数据集，图像中不仅包含了图表本身的数据，例如位置、标题、GPS、标签、评论等，还可提取出颜色模式、颜色布局、边缘直方图、均匀纹理等数据。

推荐度：★★，推荐应用方向：图像识别

介绍和下载地址：

LSUN数据集

国外的PASCAL
VOC和ImageNet ILSVRC比赛使用的数据集，数据领域包括卧室、冰箱、教师、厨房、起居室、酒店等多个主题。

推荐度：★★，推荐应用方向：图像识别

介绍和下载地址：

Labeled Faces in the Wild数据集

该数据集是用于研究无约束面部识别问题的面部照片数据库。数据集包含从网络收集的13000多张图像。每张脸都贴上了所画的人的名字，图片中的1680人在数据集中有两个或更多不同的照片。

推荐度：★★，推荐应用方向：人脸识别

介绍和下载地址：

SVHN

SVHN数据来源于 Google 街景视图中房屋信息，它是一个真实世界的图像数据集，用于开发机器学习和对象识别算法，对数据预处理和格式化的要求最低。它跟MNIST相似，但是包含更多数量级的标签数据（超过60万个数字图像），并且来源更加多样，用来识别自然场景图像中的数字。

推荐度：★★，推荐应用方向：机器学习、图像识别

介绍和下载地址：

COCO

COCO（Common Objects in Context）是一个新的图像识别、分割和图像语义数据集，由微软赞助，图像中不仅有标注类别、位置信息，还有对图像的语义文本描述。COCO数据集的开源使得近两、三年来图像分割语义理解取得了巨大的进展，也几乎成为了图像语义理解算法性能评价的“标准”数据集。

推荐度：★★★，推荐应用方向：图像识别、图像语义理解

介绍和下载地址：

谷歌YouTube-8M

YouTube-8M一个大型的多样性标注的视频数据集，目前拥有700万的YouTube视频链接、45万小时视频时长、3.2亿视频/音频特征、4716个分类、平均每个视频拥有3个标签。

推荐度：★★★，推荐应用方向：视频理解、表示学习（representation learning）、嘈杂数据建模、转移学习（transfer learning）和视频域适配方法（domain
adaptation approaches）

数据集介绍和下载地址：。

Udacity开源的车辆行使视频数据集

数据集大概有223G，主要是有关车辆驾驶的数据，其中除了车辆拍摄的图像以外，还包括车辆本身的属性和参数信息，例如经纬度、制动器、油门、转向度、转速等。这些数据可用于车辆自动驾驶方向的模型训练和学习。

推荐度：★★★，推荐应用方向：自动驾驶

介绍和下载地址：

牛津RobotCar视频数据集

RobotCar数据集包含时间范围超过1年，测试超过100次的相同路线的驾驶数据。数据集采集了天气、交通、行人、建筑和道路施工等不同组合的数据。

推荐度：★★★，推荐应用方向：自动驾驶

介绍和下载地址：

Udacity开源的自然场景短视频数据集

数据集大概为9T，由3500万个视频剪辑组成，每个视频为短视频（32帧），大约1秒左右的时长。

推荐度：★★★，推荐应用方向：目标跟踪、视频目标识别

介绍和下载地址：

3. 自然语言数据集

MS MARCO

MS MARCO是一种新的大规模阅读理解和问答数据集。 在MS MARCO中，所有问题都是从真正的匿名用户查询中抽取的。使用先进的Bing搜索引擎版本，从实际的Web文档中提取数据集中的答案的上下文段落。

推荐度：★★★，推荐应用方向：自然语言理解、智能问答

介绍和下载地址：

Question Pairs

第一个来源于
Quora 的包含重复/语义相似性标签的数据集。数据集由超过40万行的潜在问题的问答组成。每行数据包含问题ID、问题全文以及指示该行是否真正包含重复对的二进制值。

推荐度：★★★，推荐应用方向：自然语言理解、智能问答

介绍和下载地址：

SQuAD

斯坦福问答回答数据集（SQuAD）是一个新的阅读理解数据集，从维基百科中提炼出的问题组成，每个问题的答案都是相应段落的一段文本。在500多篇文章中有超过10万个问答对。

推荐度：★★★，推荐应用方向：文本挖掘、自然语言理解、智能问答

介绍和下载地址：

Maluuba NewsQA

Maluuba的NewsQA数据集的目的是帮助研究团队建立能够回答需要人为理解和推理技能的问题的算法。它包含了从DeepMind问答数据集中的CNN文章中抽取了120K个常见问题。

推荐度：★★，推荐应用方向：文本挖掘、自然语言理解、智能问答

介绍地址：

下载地址：

1 Billion Word Language Model Benchmark

这是一个大型、通用的语言建模数据集，该项目的目的是提供语言建模实验的标准培训和测试，常用于如 word2vec 或 Glove 的分布式词语表征。

推荐度：★★，推荐应用方向：文本挖掘、自然语言理解

介绍和下载地址：

Maluuba Datasets

这是一个用于自然语言理解研究的复杂的人工数据集，主要包括NewsQA和Frames。它主要用于机器阅读理解、面向对象的对话系统、对话界面和加强学习。

推荐度：★★，推荐应用方向：自然语言理解、智能问答

介绍和下载地址：

Common Crawl

Common Crawl包含了超过7年的网络爬虫数据集，拥有PB级规模，常用于学习词嵌入。

推荐度：★★，推荐应用方向：文本挖掘、自然语言理解

介绍和下载地址：

20 Newsgroups

该数据集包含大约20000个新闻组文档，在20个不同的新闻组中平均分配，是一个文本分类的经典数据集，它是机器学习技术的文本应用中的实验的流行数据集，如文本分类和文本聚类。

推荐度：★★，推荐应用方向：文本挖掘

介绍和下载地址：

4. 音频数据集

大型音乐分析数据集FMA

该数据集是免费音乐存档（FMA）的转储，这是一个高质量的合法音频下载的互动库。这些数据集中包含歌曲名称、音乐类型、曲目计数等信息，共计689种歌曲和68种类型。该数据集可用于音乐分析。

推荐度：★★★，推荐应用方向：音乐分析挖掘

介绍和下载地址：

音频数据集AudioSet

谷歌发布的大规模一品数据集，AudioSet 包括 632 个音频事件类的扩展类目和从YouTube视频绘制的 2084320 个人类标记的10秒声音剪辑的集合。类目被指定为事件类别的分层图，覆盖广泛的人类和动物声音，乐器和风格以及常见的日常环境声音。

推荐度：★★★，推荐应用方向：音乐、人声、车辆、乐器、室内等自然和人物声音分析挖掘

介绍和下载地址：

2000 HUB5 English Evaluation Transcripts

该数据集由NIST（国家标准与技术研究院）2000年发起的HUB5评估中使用的40个英语电话对话的成绩单组成，其仅包含英语的语音数据集，百度最近的论文《深度语音：扩展端对端语音识别》使用的是这个数据集。

推荐度：★★★，推荐应用方向：音乐、人声、车辆、乐器、室内等自然和人物声音识别

介绍和下载地址：

LibriSpeech

该数据集为包含文本和语音的有声读物数据集，由Vassil Panayotov编写的大约1000小时的16kHz读取英语演讲的语料库。数据来源于LibriVox项目的阅读有声读物，并经过细致的细分和一致。

推荐度：★★，推荐应用方向：自然语音理解和分析挖掘

介绍和下载地址：

VoxForge

该数据集是带口音的语音清洁数据集，对测试模型在不同重音或语调下的鲁棒性非常有用。

推荐度：★★，推荐应用方向：语音识别

介绍和下载地址：

TIMIT

这是一份英文语音识别数据集，包含630个扬声器的宽带录音，八个主要方言的美式英语，每个阅读十个语音丰富的句子。TIMIT语料库包括时间对齐的正字法，语音和单词转录以及每个话语的16位，16kHz语音波形文件。

推荐度：★★，推荐应用方向：语音识别

介绍和下载地址：

CHIME

这份语音一份包含环境噪音的用于语音识别挑战赛（CHiME Speech Separation and Recognition Challenge）的数据集。该数据集包含了训练集、开发机、测试集三部分，每份里面包括了多个扬声器在不同噪音环境下的数据。

推荐度：★★★，推荐应用方向：语音识别

介绍和下载地址：

TED-LIUM

TED Talk 的音频数据集，包含1495个录音和音频会议、159848条发音词典和部分WMT12公开的语料库。

推荐度：★★★，推荐应用方向：语音识别

介绍和下载地址：

 

除了上述公开数据集外，不要忘记大多数机器学习和数据挖掘工具本身也附带有datasets资源，甚至像sklearn还提供了生成模拟数据的功能（实际上专业的数据工具都有很多），请见sklearn中的datasets方法。

转载于:https://www.cnblogs.com/marsggbo/p/9948375.html

aiwanghuan5017
关注
机器学习笔记 - 怎么确认是否有足够的训练数据？
学以致用 知行合一
10-10 771
最近有一些关于数据是否是新石油的争论。 无论如何，为我们的机器学习工作获取训练数据可能是昂贵的（在工时、许可费、设备运行时间等方面）。 因此，机器学习项目中的一个关键问题是确定需要多少训练数据才能实现特定的性能目标（即分类器准确性）。 在这篇文章中，我们将在从回归分析到深度学习等领域对有关训练数据大小的实证和研究文献结果进行快速但广泛的审查。 训练数据大小问题在文献中也称为样本复杂度。 具体来说，我们将： 说明回归任务和计算机视觉任务训练数据的经验范围； 给定统计检验...
机器学习笔记-快速了解数据集
tjulxh的博客
12-11 400
  我在另一篇博文中写到了用pandas中的read_csv()函数将csv格式的数据读取为pandas DataFrame对象，接下来就是要对读入的数据集快速的了解，来确定下一步用什么机器学习算法解决问题。常用的方法有下面几种： 快速查看数据结构    使用DataFrame的head() 方法查看数据集的前5行，info()方法可以快速查看数据的描述，特别是总行数、每个属性的类型和非空值的...
【机器学习】机器学习数据集大全
探索世界，改变世界
07-27 7769
下面，您将找到一个由用户组织的数据科学和机器学习免费数据集的策划列表。您将找到精选的数据集和我们最喜欢的聚合器。 目录 探索性分析的数据集 通用机器学习的数据集 深度学习数据集 自然语言处理的数据集 云计算机学习的数据集 时间序列分析的数据集 推荐系统的数据集 特定行业的数据集 流式传输的数据集 Web Scraping的数据集 当前事件的数据集   探索性分析的数...
6.机器学习——数据统计
weixin_30419799的博客
04-22 138
1.汇总统计 2.数据规范化或标准化 转载于:https://www.cnblogs.com/SUNYZBlog/p/10749168.html
机器学习之数据分析
weixin_30443813的博客
06-19 978
熟话说,'巧妇难为无米之炊'，数据和特征就是'米'，模型和算法则是'巧妇'，没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出，为了更好的使用模型，必须先对数据有个正确的认识，本博将对数据分析的三种方法(描述性统计，数据可视化和相关性系数)进行总结,为数据预处理准备 1. sklearn数据集类型 - 自带的小数据集：sklearn.datasets.load_<...
数据集处理实验2——统计图片的长边和短边
April_Liu的blog
10-15 834
写在前边 有时候想想觉得发一篇文章挺难的，但是自己发文章自己做实验是真香。就这样一点一点来吧。 统计图片大小 这个就是统计图片的尺寸大小 然后对数据集进行处理 感谢大佬 程序代码 import os import pandas as pd from PIL import Image from collections import Counter source = 'G:\\pythonproject\\image' imgfile = os.listdir(source) shot_cut = []
AI深度、机器学习数据集资源汇总
weixin_44462965的博客
11-27 4060
AI深度、机器学习数据集资源汇总！
机器学习中的数据集建设
林学森的技术专栏
04-26 1735
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
机器学习数据集【转】
kateyabc的博客
09-22 781
500款各领域机器学习数据集,总有一个是你要找的 金融 美国劳工部统计局官方发布数据：http://dataju.cn/Dataju/web/datasetInstanceDetail/139 沪深股票除权除息、配股增发全量数据，截止 2016.12.31 http://dataju.cn/Dataju/web/datasetInstanceDetail/344 上证主板日线数据，截止 2...
机器学习---数据集
m0_56600567的博客
08-21 169
数据集 目标 知道数据集分为训练集和测试集 会使用sklearn的数据集 可用数据集 安装 pip3 install Scikit-learn==0.19.1 查看是否安装成功的命令： import sklearn 注意安装scikit-learn需要numpy、scipy等库 ...
做数据集统计脚本
Blue_Whale2020的博客
12-22 1130
import panda as pd x = pd.DataFrame(b.transpose(),columns['x','y','width','height']) #b.shape = [num_labels,4] #使用pd来建立一种数据结构，使用类似excel表来管理b的每一列 import seaborn as sns sns.pairplot(x, corner=True, diag_kind='auto', kind='hist', diag_kws=dict(bins=50),.
网络科学大牛、数据、期刊、会议资料整理
Javy Wang
10-25 4979
网络科学是本人的主要研究领域，在此整理一下自己搜集的网上免费数据集（附带一些其他领域的数据集），希望能节约大家找数据的时间。 网络科学 斯坦福大规模网络数据集， 涵盖领域非常广泛：社交网络，通信网络，引文网络，艾马逊网络，道路网络，信号网络，在线社交网络，维基网络等等，还分为了无向网络、有向网络、无权网络、加权网络等等类型。 复杂网络索引（ICON），ICON是包括社会、网络、信息、生物、生态...
70个大数据集
麦田守望者
12-07 2万+
http://www.china-cloud.com/yunjishu/shujuzhongxin/20140618_38544.html 你是否需要大量的数据来检验你的APP性能？最简单的方法是从网上免费数据存储库下载数据样本。但这种方法最大的缺点是数据很少有独特的内容并且不一定能达到预期的结果。以下是70多家可以获得免费大数据存储库的网站。 Wikipedia:Data
复杂网络 网络数据集
雪小貂的博客
12-24 1439
网络数据集 　　常用的一些公开数据集整理： Pajek（可视化工具）数据集：http://vladowiki.fmf.uni-lj.si/doku.php?id=pajek:data:index； Newman（复杂网络科学领域大牛）个人数据集：http://www-personal.umich.edu/~mejn/netdata/ Stanford大学大规模网络数据集：http://snap.stanford.edu/data/ 复旦大学网络数据集整理：http://gdm.fudan.edu.cn/GD
数据集
guoxinian的专栏
01-07 5965
数据集 大数据 https://delicious.com/pskomoroch/dataset  http://stackoverflow.com/questions/10843892/download-large-data-for-hadoop http://konect.uni-koblenz.de/ 搜狗实验室 http://www.sogou.com/labs/resourc
机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾
热门推荐
寒小阳
11-12 43万+
f作者： 寒小阳 &&龙心尘 时间：2015年10月。 出处： 声明：版权所有，转载请注明出处，谢谢。手把手机器学习之逻辑回归应用——Kaggle泰坦尼克之灾1.引言先说一句，年末双十一什么的一来，真是非(mang)常(cheng)欢(gou)乐(le)！然后push自己抽出时间来写这篇blog的原因也非常简单： 写完前两篇逻辑回归的介绍和各个角度理解之后，小伙伴们纷纷表示『好像很高级的样纸，
机器学习之数据集
最新发布
逐梦苍穹的博客
08-15 6674
本文介绍机器学习过程中一个可用的小型数据集
常用公共数据集
weixin_41036461的博客
06-12 6万+
原文链接：http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htmCVonline：图像数据库(Google直译的结果，希望对大家有帮助)按主题索引行动数据库属性识别自主驾驶生物/医药相机校准脸和眼/虹膜数据库指纹一般图像一般RGBD和深度数据集一般视频手，掌握，手动和手势数据库图像，视频和形状数据库检索对象数据库人（静），人体姿势人员检测...
语种识别公开语料库（可用于学术科研和项目研究）（自用）
weixin_38468077的博客
07-11 5118
1. Voxforge Voxforge数据集下载地址：http://www.voxforge.org/zh 2.Common Voice: Common Voice公开语料集下载： 3.LibriVox LibriVox语料库下载地址 4.中文thchs30数据 中文thchs30语料库下载：http://www.openslr.org/18/ 5.Slavic language recordings Slavic language recordings 语种下载地址： 6.Kaggle公开数据
深度学习大数据
北漠苍狼的专栏(QQ:1746430162)
12-23 2083
CAFFE深度学习交流群：532629018  国内数据：链接：http://pan.baidu.com/s/1i5nyjBn 密码：26bm 好玩的数据集：链接：http://pan.baidu.com/s/1bSDIEi 密码：25zr 微软数据：链接：http://pan.baidu.com/s/1bpmo6uV 密码：286q 微博数据集：链接:http://pan.bai
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值