深度学习关键要素：数据集汇总与分享

已于 2023-08-09 17:33:39 修改
阅读量6.2k 收藏 76
点赞数 3
分类专栏： 人工智能初探 文章标签： 深度学习 人工智能 数据集
于 2023-08-09 17:22:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lsb2002/article/details/132178923
版权

引言

在深度学习的应用中，数据被认为是最重要的因素之一。因此，选择一个好的数据集对于深度学习的成功至关重要。在选择数据集时，不仅需要关注数据量的大小、多样性以及质量，还要考虑数据集是否代表了所研究问题的真实情况。本文整理了当前深度学习领域公开的数据集，供大家训练模型时选择和使用。

1 综合数据集

1.1 kaggle数据集

kaggle是规模最大的在线数据集存储库之一，涵盖体育、医学和政府等一系列主题。它的平台由社区主导，这意味着用户可以上传自己的数据集。鉴于 Kaggle 的数据来源多种多样，彻底检查您取自其中的数据集的质量非常重要。此外，Kaggle 还提供关于机器学习主题的讨论以及关于关键流程的教程。

地址：kaggle datasets

1.2 AI Studio数据集

百度推出的AI Studio是一个一站式开发平台:囊括了 AI 教程、代码环境、算法算力、数据集,并提供免费的在线云计算,是一个一体化编程环境。

地址：AI Studio数据集

1.3 天池数据集

天池数据集是阿里集团对外开放的科研数据平台，由阿里巴巴集团业务团队和外部研究机构联合提供，覆盖了电商、娱乐、物流、医疗健康、交通、工业、自然科学、能源等十多个行业，涵盖了数据挖掘、机器学习、计算机视觉、自然语言处理、决策智能等经典的人工智能技术领域。

地址：tianchi datasets

1.4 Graviti 数据集

Graviti 是一个提供公开数据集的平台，你可以很方便的搜索你想要的数据，可在线预览样例数据、标注、标签。Graviti 收录了 400 多个高质量 CV 类数据集，覆盖无人驾驶、智慧零售、机器人等多种 AI 应用领域。

地址：graviti datasets

1.7 papers with code

有超过四千个数据集（还在不断增加）。这些数据集由社区上传。您可以按模态、任务和语言轻松地筛选这些数据集。数据库中还包含指向其他数据库的链接，后者也提供多种数据集。

地址：papers with code datasets

1.8 DataFlair

DataFlair链接到 70 多个机器学习数据集，还包括源代码和项目思路等有用信息。例如，在包含手写数字的数据集列表中，DataFlair 建议创建图像分类算法来识别纸张中的手写数字。利用该网站可以启发新思路。

地址：data flair

1.9 EliteDataScience

EliteDataScience包括免费数据集和最热门的聚合器的精选列表。这些数据集按用例组织，其中包括可用于深度学习、自然语言处理、网络抓取等的数据集。

地址：elitedatascience

1.10 UCI数据集

UCI 拥有 500 多个机器学习数据集，可按文件类型、任务、应用领域和主题进行排序。其中许多数据集都包含可用于基准测试的学术论文链接。最古老的数据集源之一，是寻找有趣数据集的第一站。虽然数据集是用户贡献的，因此具有不同的清洁度，但绝大多数都是干净的，可以直接从UCI机器学习库下载，无需注册。

地址：uci dataset

1.11 github公开数据集

github公开数据集提供公共数据集的开源集合。您可以在其中查看目录，选择一个主题，主题涵盖农业、交通等领域。Github 还包括一般机器学习模型的集合。大多数链接的数据集都是免费的。

地址：github datasets

1.12 Azure数据集

Microsoft Azure 拥有一个公共数据集数据库，开发人员可将其用于原型设计和测试。数据库类别包括美国政府和机构数据、其他统计和科学数据以及在线服务数据。此外，您还可以在其中阅读有关 SQL 以及如何构建移动和 Web 应用程序的文档。

地址：azure datasets

2 计算机视觉数据集

2.1 ImageNet数据集

ImageNet数据集是当今深度学习应用领域中最为流行的数据集之一，其包含了大量的图像数据及标注。ImageNet数据集的标注涵盖了所有的大类别、中类别和小类别，其中大类别越通用，小类别越具体，这一特征使得该数据集适合进行图像分类问题的研究。

地址：ImageNet数据集

2.2 COCO数据集

全称为“Microsoft Common Objects in Context Dataset”，COCO数据集是一个可用于图像检测（image detection），语义分割（semantic segmentation）和图像标题生成（image captioning）的大规模数据集。它有超过330K张图像（其中220K张是有标注的图像），包含150万个目标，80个目标类别（object categories：行人、汽车、大象等），91种材料类别（stuff categoris：草、墙、天空等），每张图像包含五句图像的语句描述，且有250,000个带关键点标注的行人。

地址：coco dataset

2.3 IMDB-Wiki数据集

IMDB-Wiki数据集提供最大的人脸图像集合，拥有超过 500,000 张图像。许多图像来自名人和维基百科。每张图像都附有性别和年龄标签。

地址：imdb datasets

2.4 LabelMe数据集

使用LabelMe标注工具构建。该工具使用户能够勾勒出对象的轮廓，并为对象添加标签。这个数据集可用于图像识别项目。

地址：labelme datasets

2.5 chars74k数据集

chars74k包括 74,000 张图像。数据包括自然图像中的字符识别（例如，餐厅标志的图像）

地址：chars74k datasets

2.6 Kinetics-700数据集

Kinetics-700包含一系列主要标注为人类行为的 YouTube 视频链接。其中有超过 65 万个视频片段，涵盖 700 种人类行为。

地址：kinetics-700 datasets

2.7 Places2 Database

Places2 Database是麻省理工学院发布的数据集，包含超过 1,000 万张图像，涵盖 400 多个场景。它对场景分类和场景解析等项目很有帮助。

地址：places2 datasets

2.8 MPII人体姿态数据集

MPII人体姿态数据集包括约 25,000 张涉及 410 个人体姿态的图像。图像中包含大约 40,000 个不同的人，每张图像都标注了人体关节。这些图像收集自 YouTube 视频。

地址：human-pose datasets

 2.9 Open Images数据集

Open Images是由谷歌发布的一个开源图片数据集，在2022年10月份发布了最新的V7版本。这个版本的数据集包含了900多万张图片，都有类别标记。其中190多万张图片有非常精细的标注。Open Images可以用于许多不同的应用程序,包括图像分类、目标检测、图像分割和图像生成等。

地址：open images dataset

 2.10 Cityscapes数据集

Cityscapes是一个城市街景语义分割数据集，包含来自德国50个城市的3257幅高分辨率图像。数据集中涵盖了早晨、白天和夜晚等不同照明情况下的街景图像。每个图像的分辨率为2048x1024，并针对多种标签包括建筑物、道路和行人等进行了专业的标注。数据集还提供了用于训练、验证和测试的列表，以及基准性能指标。Cityscapes数据集的引入将有助于推动城市场景分析的发展，为深度学习算法的研究和应用提供了更多的可能性。

地址：cityscapes dataset

2.11 搜狗数据集

互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。对于每张图片，数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G

地址：http://www.sogou.com/labs/dl/p.html

2.12 IMAGECLEF数据集

IMAGECLEF致力于位图片相关领域提供一个基准（检索、分类、标注等等） Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.

地址：http://www.imageclef.org/

3 自然语言处理数据集

3.1 Google Blogger Corpus

Google Blogger Corpus包括来自 blogger.com 的近 700,000 篇博客文章。每一篇文章至少有 200 个英语单词。总体而言，这些博客文章包含许多常见的英语单词。

地址：BlogCorpus datasets

3.2 Yelp Reviews

Yelp Reviews数据集涵盖餐厅的排名和评论，包含与此主题相关的丰富信息。该数据集中的评论可用于情感分析项目。

地址：yelp dasets

3.3 WikiQA语料库

WikiQA语料库是一个问答数据集，由 Bing 搜索数据编译而成。它包括 3,000 多个问题，提供 29,000 个回答句，其中 1,500 个标注为回答句。

地址：WikiQA Corpus

3.4 WordNet

WordNet是一个按词义分组的英语单词数据库。共有 117,000 个同义词集（根据同义词配对的单词），然后链接到相关的同义词集。可以在文本分类项目中使用。

地址：wordnet datasets

3.5 OpinRank数据集

OpinRank数据集包含来自 Edmunds 和 TripAdvisor 的 300,000 条评论。它们根据旅游目的地、酒店和其他相关因素分类。

地址：OpinRank datasets

3.6 多域情感数据集

多域情感数据集包括Amazon.com四个领域的产品评论：DVD、书籍、厨房和电子产品。每个领域都有几千条评论，附有 1-5 星评级。顾名思义，这个数据集对情感分析项目很有用。

地址：mdredze datasets

3.7 Twitter情感分析数据集

Twitter情感分析数据集包括超过 150 万条分类推文。数据集的每一行都有一个排名：1 表示正面情绪，0 表示负面情绪。

地址：twitter-sentiment datasets

3.8 Newsgroups数据集

Newsgroups包含 20,000 个文档，顾名思义，它来自 20 多个不同的新闻组。它包含的主题很多，其中一些主题相对相似。该数据集包括三个版本：一个是初始版本，一个是删除日期的版本，还有一个是删除重复的版本。

地址：20Newsgroups datasets

 3.9 HuggingFace 数据集

HuggingFace数据集包括611 个文本数据集，可以下载以准备在一行 python 中使用；涵盖 467 种语言，其中 99 种包含至少 10 个数据集；

地址：huggingface datasets

4 音视频数据集

4.1 M-AI Labs语音数据集

M-AI Labs语音数据集包括近 1,000 小时的音频与转录。包括使用多种语言的男性和女性语音。

地址：MAI labs datasets

4.2 LibriSpeech

LibriSpeech包括大约 1000 小时的语音数据，这些数据已经被分段和对齐。这些数据编译自 LibriVox 项目的有声读物。

地址：Librispeech datasets

5 数据集搜索

5.1 谷歌数据集搜索

Google 提供一个数据集搜索引擎，您可以在其中按名称搜索数据集。该引擎允许您按多种功能对数据集进行排序，例如文件类型、主题、最新更新和相关性。它还可以从互联网上的数千个数据库中获取数据集，因此您可以真正地通过广泛的选项进行搜索。数据集的上传者包括众多国际组织，如哈佛大学和世界卫生组织。

地址：google dataset search

5.2 clue数据集检索

中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜。我们会选择一系列有一定代表性的任务对应的数据集，做为我们测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。

地址：cluebenchmarks

5.3 visualdata数据集

visualdata包含了一些用于构建计算机视觉模型的优秀数据集，用户可通过某个CV主题查询，例如语义分割、图像标题、图像生成、自动驾驶汽车等内容。

地址：visualdata

6 具体数据集

6.1 医疗图像数据集

肺结节数据库LIDC-IDRI：cancer image

乳腺图像数据库DDSM MIAS：乳腺图像数据库

医学图像问答：medical-image-faq

右心室分割挑战赛（2012）：mr-images

肺癌分类比赛：http://data-science-bowl-2017

分割肺癌(Kaggle)：finding-lungs-in-ct

肺癌数据库：cancer image

医学影像数据集：medical-data

医疗影像分析：grand-challenge

6.2 Kaggle竞赛数据集

6.3 自然语言处理数据集

6.4 各类/各场景图像数据/综合图像

6.5 场景图像

6.6 Web图像标签

6.7 人形轮廓图像

6.8 视觉文字识别图像

6.10 材质纹理图像

6.11 物体分类图像

 6.12 人脸图像

6.13 姿势动作图像

 6.14 指纹识别图像

 6.15 其他图像数据

6.16 推荐系统数据集

6.17 金融数据集

6.19 商业数据

6.21 视频数据（人类动作、目标检测、密集人群等）

6.22 人类动作视频

6.23 目标检测视频

6.24 密集人群视频

6.25 其他视频

6.26 音频数据

6.27 文本、评价、回答数据集合

6.28 科研数据集

6.29 社会数据集

6.30 其他数据集综合

7 政府公开数据集

欧洲政府数据集 https://data.europa.eu/euodp/data/dataset

美国政府数据集 https://www.data.gov/

新西兰政府数据集https://catalogue.data.govt.nz/dataset

印度政府数据集 https://data.gov.in/

北爱尔兰公共数据集 https://www.opendatani.gov.uk/

智慧医疗探索者
关注
  • 3
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
90+深度学习开源数据集整理｜包括目标检测、工业缺陷、图像分割等多个方向
jacke121的专栏
05-05 5551
小目标检测 1.AI-TOD航空图像数据集 数据集下载地址：http://m6z.cn/5MjlYk AI-TOD 在 28,036 张航拍图像中包含 8 个类别的 700,621 个对象实例。与现有航拍图像中的目标检测数据集相比，AI-TOD 中目标的平均大小约为 12.8 像素，远小于其他数据集。 2.iSAID航空图像大规模数据集 数据集下载地址：http://m6z.cn/6nUrYe 现有的 Earth Vision 数据集要么适用于语义分割，要么适用于对象检测。iSAID 是..
【深度学习数据集】今日头条38万条新闻数据（标题）
10-12
今日头条38万条新闻数据，可用于文本分类模型训练，可用LSTM模型训练
基于python的咖啡数据集分析
图灵追幕者博客录
11-22 954
咖啡数据分析及混淆矩阵绘制。
数据集版本控制：如何管理你的数据集
禅与计算机程序设计艺术
03-15 21
1. 背景介绍 1.1 数据集的重要性 在当今这个数据驱动的时代，数据集已经成为了各种机器学习、深度学习和人工智能项目的核心。一个高质量的数据集可以帮助我们更好地训练模型，从而提高模型的性能。然而，随着数据集的不断扩大和更新，管理这些数据集变得越来越复杂。这就需要我们采用一种有效的方法来管理和追踪数据
sklearn数据集操作2
shanshuyue的博客
10-22 533
可在线下载(Downloadable）的数据集 sklearn.datasets.fetch_ 20类新闻文本数据集： 该数据集包含了关于20个话题(topic）的18000条新闻报道，这些数据被分为两个子集：训练集和测试集。 20组新闻文本数据集API用法详解 野外带标记人脸数据集：fetch_lfw_people() fetch_lfw_pairs() 这是一个在互联网上收集的带标记的著名人物人脸集合，以Jpeg格式存储，官方网址:https//vis-www.cs.umass.e.
数据集资源整理
AmorFati的博客
08-26 1163
数据集资源整理 城市计算数据 UCI标准数据库 Google AI数据集(测试)，需翻墙 Movielens数据集(电影数据库) 亚马逊的公开数据集 Yelp(美国的美食数据) 歌曲数据集 英国伦敦公开数据 加拿大开放数据 ICWSM-2009年的数据集 安然邮件数据集 纳斯达克Data Store数据存储系统 Airbnb 开放的民宿信息和住客评论数据 Amazon 食品评论数据【Kaggle数...
Part1.论文解读：如何利用最近很火的深度学习来识别建筑年代和风格？——《通过深度学习了解建筑年代和风格》
hnhncd的博客
11-04 115
本文为《通过深度学习了解建筑年代和风格》（详细引用信息见文末）论文复现的第一篇——论文解读，主要是介绍论文的大致逻辑，创新点和结论。
深度学习视觉领域常用数据集汇总
wmsbeijing的专栏
11-15 3321
资料很全，非常好的文章
深度学习数据集集锦
热门推荐
learning notes
02-28 1万+
计算机视觉MNIST标签：学术基准 经典 较旧合理性测试（sanity check）最常用的数据库。规格为 25x25、中心的、B&W 手写数字。用 MNIST 测试非常容易，但不要因为你的模型在 MNIST 运行良好，就认为它事实上可用。地址CIFAR 10 & CIFAR 100标签：经典 较旧32x32 彩色图像。虽然用得人比以前少了很多，但仍然能用它做有趣的合理性测试。地址ImageNet标
深度学习数据集大全
Fantastic
02-28 4268
文章目录前言人脸数据集地球信息数据集 前言 深度学习是以数据为驱动的技术，在使用深度学习进行科研或者工作当中，都离不开数据集。因此本篇博客整理我在工作当中遇到的一些数据集。如人脸数据集，地球信息的数据集。数据集来源有一些比赛的数据集，如kaggle，还有一些团队公开发表的数据集。数据集都尽可能地贴出链接，贴不出链接只能自己寻找，然后你懂得。 人脸数据集 哥伦比亚大学公众人物脸部数据库 数据集链接：http://m6z.cn/5DlIR9。该数据集是一个大型的人脸数据集，主要用于人脸识别和身份鉴定，涵盖互
深度学习常用数据集
qq_36076110的博客
07-01 988
深度学习实际应用场景常用数据集
image_CLEF.zip
08-09
深度域适应中常见的数据集之一，image_CLEF，原始图像数据 有b、c、i、p四个子数据域，每个子数据域有12类。
RCV1-2 英文新闻数据数据集
07-06
RCV1-2 是一个路透社（Ruters）英文新闻文本及对应新闻类别数据，可用以进行文本分类和其它自然语言处理（NLP）任务。
训练数据集
05-27
用于训练的数据集，可以来训练深度学习模型，非常好，标签已经制作好
训练自己的数据集
04-10
本代码主要用于自己数据制作VOC2007数据集格式，用以进行目标检测网络的训练，如faster r-cnn等一类的目标检测网络
深度学习数据集：表格图像增广数据集
最新发布
03-18
包含1w张图像，对图像进行随机的翻转、仿射变换等等进行增广 总共800MB，总共1w张图片和一个可视化的py代码
深度学习数据集：烟雾火焰数据集（2000个图像）
10-24
# 此数据为火灾检测数据集，已经对数据进行坐标标注，并按照VOC格式存储； # image num: 2059, xml num: 2059 声名： 此数据集包含2部分： 1.自己爬取的图像，自己标注 2.他人开源的数据，有的有标注，有的无...
机器学习/深度学习：income数据集
07-21
机器学习/深度学习必备，income数据集
深度学习之图像数据集：交通事故车辆数据集
02-29
数据集介绍：该数据集由损坏汽车的图像、汽车的成本价格及其保险索赔等参数组成 数据集大小：103MB 数据集详情：该数据集由损坏汽车的图像、汽车的成本价格及其保险索赔等参数组成。 • trainlmages 文件夹：包含 ...
python 深度学习与项目实战 数据集
06-22
随着深度学习技术的不断发展，数据集已成为深度学习模型训练的关键因素之一。Python作为深度学习和机器学习领域中最常用的语言之一，提供了许多方便的工具和库，可帮助用户更便捷地处理和访问数据集。以下是Python深度学习与项目实战数据集方面的详细介绍： 1. MNIST数据集：这是一个经典问题，包含由手写数字组成的70000个样本。这个数据集是图像分类任务的基础，由于其规模较小，训练速度较快，因此也成为深度学习模型入门者的首选。 2. CIFAR-10/100数据集：这是另一个图像分类数据集，其中包含10或100个类别的图像。这些图像具有更高的分辨率和更复杂的结构，因此更具挑战性。这些数据集经常用于卷积神经网络的训练。 3. ImageNet数据集：这个数据集包含大量的图像，通常用于图像分类、目标检测和图像分割等任务。由于其规模巨大，需要大量计算资源和时间才能训练深度学习模型。 4. COCO数据集：这个数据集被广泛用于目标检测、图像分割和姿势估计等计算机视觉任务中。它包含许多标记的图像，以及标注的对象的边界框和密集性分割。 5. IMDb数据集：这个数据集用于情感分析任务，它包含来自影评网站的50000条影评。每个影评都有一个情感标签，以指示它是积极的还是消极的。 总之，Python提供了许多方便的工具和库，可以帮助用户更轻松地处理和访问深度学习和机器学习的各种数据集。不同的数据集适用于不同的任务，需要根据具体的应用场景来进行选择。在实际应用中，深入了解每个数据集的特点和含义，对于正确使用它们和开发出更加精确和高效的深度学习算法都非常重要。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智慧医疗探索者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值