【AI】Datasets

已于 2025-04-17 11:33:04 修改
阅读量763 收藏
点赞数 2
分类专栏： AIGC 文章标签： 人工智能
于 2023-10-12 23:11:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/133800792
版权

在这里插入图片描述

文章目录

1、Dataset

百度飞桨

  • https://aistudio.baidu.com/datasetoverview

极市——海量数据集

  • https://www.cvmart.net/dataSets

Open-Images-Dataset V6

  • https://github.com/irvingzhang0512/open-images-downloader
  • https://opendatalab.com/OpenDataLab/OpenImagesV6

OpenDataLab

  • https://opendatalab.com/

【Classification】

  • CIFAR-10
  • CIFAR-100
  • COCO
  • ImageNet
  • MNIST
  • SVHN

【Object detection】

  • COCO
  • PASCAL VOC
  • Caltech101
  • Open Images
    • IsOccluded: 表示目标被图像中的另一目标遮蔽。
    • IsTruncated: 表示目标超出了图像的边界。
    • IsGroupOf: 表示边界框覆盖了一群目标（例如：一床花朵、一群人）。当图像中的实例（instances ）超过 5 个并且各实例相互重叠或交叠时，我们会要求标注员使用这个标签。
    • IsDepiction: 表示目标是一幅画（例如：目标的卡通画或素描，不是真正的实体实例）。
    • IsInside: 表示是从对象内部(例如汽车内部或建筑物内部）拍摄的照片。

fire & smoke detection

参考来自：火灾检测——相关数据集

Traffic Sign

  • TT100K

Bird

  • Caltech-UCSD Birds 200 (CUB-200)：这是一个经典的细粒度鸟类分类数据集，包含200种鸟类的11,788张图像。每张图像都提供了详细的标注，包括鸟类的边界框、关键部位以及属性信息。这个数据集常被用于鸟类检测和识别任务。
  • PASCAL VOC中的鸟类子集

【Tracking】

参考来自

  • Dataset-AMP: Luka Čehovin Zajc; Alan Lukežič; Aleš Leonardis; Matej Kristan. “Beyond Standard Benchmarks: Parameterizing Performance Evaluation in Visual Object Tracking.” ICCV (2017)

  • Dataset-Nfs: Hamed Kiani Galoogahi, Ashton Fagg, Chen Huang, Deva Ramanan and Simon Lucey. “Need for Speed: A Benchmark for Higher Frame Rate Object Tracking.” ICCV (2017)
    在这里插入图片描述

  • Dataset-DTB70: Siyi Li, Dit-Yan Yeung. “Visual Object Tracking for Unmanned Aerial Vehicles: A Benchmark and New Motion Models.” AAAI (2017)

  • Dataset-UAV123: Matthias Mueller, Neil Smith and Bernard Ghanem. “A Benchmark and Simulator for UAV Tracking.” ECCV (2016)

  • Dataset-TColor-128: Pengpeng Liang, Erik Blasch, Haibin Ling. “Encoding color information for visual tracking: Algorithms and benchmark.” TIP (2015)

  • Dataset-NUS-PRO: Annan Li, Min Lin, Yi Wu, Ming-Hsuan Yang, and Shuicheng Yan. “NUS-PRO: A New Visual Tracking Challenge.” PAMI (2015)

  • Dataset-PTB: Shuran Song and Jianxiong Xiao. “Tracking Revisited using RGBD Camera: Unified Benchmark and Baselines.” ICCV (2013)

  • Dataset-ALOV300+: Arnold W. M. Smeulders, Dung M. Chu, Rita Cucchiara, Simone Calderara, Afshin Dehghan, Mubarak Shah. “Visual Tracking: An Experimental Survey.” PAMI (2014)
    在这里插入图片描述

  • OTB2013: Wu, Yi, Jongwoo Lim, and Minghsuan Yang. “Online Object Tracking: A Benchmark.” CVPR (2013)

  • OTB2015: Wu, Yi, Jongwoo Lim, and Minghsuan Yang. “Object Tracking Benchmark.” TPAMI (2015)

  • Dataset-VOT
    在这里插入图片描述

  • PathTrack
    在这里插入图片描述

  • MOT：The Multiple Object Tracking Benchmark

  • VID：Visual Object Tracking benchmark for Large-scale MOTion Analysis，微软研究院和清华大学合作创建，2015

  • YouTube-BB数据集（YouTube-Bounding Boxes），谷歌，2016

  • DET数据集（PASCAL VOC Detection Challenge）是一个用于图像目标检测的公共数据集，由牛津大学、德国马克斯普朗克研究所以及荷兰阿姆斯特丹大学联合创建。该数据集首次发布于2007年，自那以后已经成为图像目标检测领域的标准基准数据集之一。

  • COCO数据集（Common Objects in Context）是一个用于目标检测、分割和关键点检测的大规模公共数据集。该数据集由微软公司于2014年发布，旨在提供一个丰富多样的真实场景图像数据集，以促进计算机视觉领域的研究和发展。

【Segmentation】

  • COCO
  • PASCAL VOC
  • Cityscapes dataset
  • LVIS

【Human】

  • Caltech Pedestrian Detection Benchmark（Caltech行人数据库）
  • COCOPersons，64115 images from the trainval minus minival for training, and the other 2639 images from minival for validation.
  • CityPersons
  • WiderPerson
  • Brainwash
  • KITTI
  • Cityscapes dataset
  • MIT-CBCL Pedestrian Database（MIT行人数据库）
  • USC Pedestrian Detection Test Set（USC行人数据库）
  • Daimler Pedestrian Detection Benchmark (戴姆勒行人检测标准数据库)
  • DukeMTMC-reID
  • INRIA Person Dataset（INRIA行人数据库）
  • BIWI Walking Pedestrians dataset
  • Central Pedestrian Crossing Sequences
  • Dataset used in our ICCV '07 paper Depth and Appearance for Mobile Scene Analysis
  • Human detection and tracking using RGB-D camera
  • CUHK Occlusion Dataset
  • CUHK Person Re-identification Datasets
  • CUHK Square Dataset
  • EuroCity Persons-ECP
  • Berkeley DeepDrive-BDD100K
  • 滴滴出行 D2-City数据集
  • 百度ApolloScape-Trajectory
  • 百度ApolloScape-3D Lidar object detection and tracking dataset
  • 百度ApolloScape-Scene Parsing
  • 旷视人群数据集-CrowdHuman
  • 夜间行人数据集 NightOwls dataset

拥挤人群计数

  • UCF-CC-50，https://www.crcv.ucf.edu/data/ucf-cc-50/
  • UCF-QNRF，https://www.crcv.ucf.edu/data/ucf-qnrf/
  • auDiovISual Crowd cOunting (DISCO)，https://zenodo.org/records/3828468

【Human Pose Estimation】

  • KTH 多视图足球数据集，http://m6z.cn/692agI
  • Penn Action Dataset，宾夕法尼亚动作数据集，http://m6z.cn/692akK
  • BBC姿态数据集，http://m6z.cn/5xr6Xq
  • Poser 数据集，http://m6z.cn/6gynqz
  • 野外 3D 姿势数据集，http://m6z.cn/5xr6Z2
  • V-COCO数据集，http://m6z.cn/5UGaii
  • 宜家 ASM 数据集，http://m6z.cn/692aos
  • 立体人体姿势估计数据集，http://m6z.cn/62cnp5
  • AIST++ 舞蹈动作数据集，http://m6z.cn/5xr6M8
  • HiEve数据集，http://m6z.cn/6o4AAg

【ReID】

Person re-identification

  • DukeMTMC-reID，https://github.com/sxzrt/DukeMTMC-reID_evaluation
  • SYSU-30k，https://github.com/wanggrun/SYSU-30k
  • PETA，https://mmlab.ie.cuhk.edu.hk/projects/PETA.html
  • Market-1501，http://www.liangzheng.com.cn/

【Face】

detection

  • AFLW
  • AFW
  • FDDB
  • PASCAL Face dataset
  • WiderFace
  • UFDD（Unconstrained Face Detection Dataset ）

recognition

  • BUAA VISNIR
  • CASIA NIR-VIS 2.0 face database
  • CBSR
    在这里插入图片描述
  • CFP
  • DeepGlint
  • IDIAP（Multispectral-Spoof (MSSpoof) — English (idiap.ch)）
  • IJBC
  • Glint360K
  • LFW（Labeled Faces in the Wild）1：1
  • MegaFace，欧氏距离
  • Oulu-CASIA NIR-VIS
  • PolyU NIR face
  • WebFace
  • WHU VIS-NIR paired face

anti-spoofing

  • NUAA——2010
  • YALE-Recaptured——2011
  • PRINT-ATTACK——2011
  • IDIAP Replay-Attack——2012
  • CASIA FASD——2012
  • MSU MFSD——2016
  • MsSpoof——2016
  • OULU-NPU——2017
  • SiW——2018
  • SiW-M——2019
  • 3DMAD——2013
  • Morpho——2014
  • 3DFSDB——2016
  • BRSU——2016
  • HKBU-MARs-v1——2016
  • HKBU-MARs-v2——2020
  • Silicone-SMAD——2017
  • MLFP——2017
  • Rose Youtu——2018
  • XCSMAD——2019
  • WMCA——2019
  • CASIA-SURF——2019
  • CeFA——2021

facial expression

  • 用于CV算法的面部表情图像数据集，http://suo.nz/2Rhtp7
  • 从面部图像预测人物性格，http://suo.nz/2JLgAy
  • 面部年龄数据集，http://suo.nz/2J0E55
  • 人脸面部表情数据集，http://suo.nz/2Bur0o
  • 面部情感识别数据集，http://suo.nz/2tYdVH
  • 动物表情图像数据集，http://suo.nz/2ms0R0
  • FER2013数据集
  • FER-Plus（FER+）数据集
  • RAF-DB数据集
  • CK+（Cohn-Kanade+）数据集
  • AffectNet数据集
  • MMAFEDB数据集
  • JAFFE数据集
  • KDEF数据集
  • GENKI数据集
  • RaFD数据集
  • Cohn-Kanade AU-Coded Expression Database数据集
  • EmotioNet数据集
  • FERET数据集
  • Labeled Faces in the Wild (LFW)数据集

【3D】

Du X, Sun H, Wang S, et al. 3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views[J]. arXiv preprint arXiv:2406.04875, 2024.

在这里插入图片描述
在这里插入图片描述

point cloud segmentation

经典方法

  • PointNet/PointNet++
  • PCT网络
  • Cylinder网络
  • JSNet网络

分割数据集

  • Semantic3D，http://www.semantic3d.net/
  • S3DIS，http://buildingparser.stanford.edu/dataset.html
  • SemanticKITTI，http://www.semantic-kitti.org/index.html
  • ShapeNet，https://www.shapenet.org/
  • PartNet，https://shapenet.org/download/parts

视觉定位

  • 7 Scenes数据集
  • Inloc数据集，http://www.ok.sc.e.titech.ac.jp/INLOC/
  • Gangnam Station and Hyundai Department Store，https://github.com/naver/kapture/blob/main/doc/tutorial.adoc#download-a-dataset
  • LaMAR数据集，https://lamar.ethz.ch/
  • Cambridge，mi.eng.cam.ac.uk/projects/relocalisation/
  • Aachen Day-Night，https://data.ciirc.cvut.cz/public/projects/2020VisualLocalization/Aachen-Day-Night/
  • RobotCar Seasons，https://data.ciirc.cvut.cz/public/projects/2020VisualLocalization/RobotCar-Seasons/
  • CMU Seasons，https://data.ciirc.cvut.cz/public/projects/2020VisualLocalization/CMU-Seasons/
  • SILDA，https://www.visuallocalization.net/datasets/

【图像质量】

  • ExDark（低光图像）
    下载地址：http://suo.nz/2lidoI
    Exclusively Dark (ExDARK) 数据集是 7,363 张从极低光环境到黄昏（即 10 种不同条件）的低光图像的集合，具有 12 个对象类（类似于 PASCAL VOC），在图像类级别和局部对象边界上进行了注释盒子

  • PolyU（图像噪声）
    数据集下载地址：https://sourl.cn/rMsdE8
    大多数以前的图像去噪方法都集中在加性高斯白噪声（AWGN）上。然而，随着计算机视觉技术的进步，现实世界中的噪声图像去噪问题也随之而来。为了在实现并发真实世界图像去噪数据集的同时促进对该问题的研究，作者们构建了一个新的基准数据集，其中包含不同自然场景的综合真实世界噪声图像。这些图像是由不同的相机在不同的相机设置下拍摄的。

  • WoodScape（自动驾驶鱼眼）
    下载地址：http://suo.nz/2HMEtL
    WoodScape 包含四个环视摄像头和九项任务，包括分割、深度估计、3D 边界框检测和新型污染检测。为超过 10,000 张图像提供实例级别的 40 个类的语义注释。

【Image Inpainting】

经典方法

  • LaMa，https://github.com/advimman/lama
  • PowerPaint，https://github.com/open-mmlab/PowerPaint
  • IOPaint，https://github.com/Sanster/IOPaint
  • BrushNet，https://github.com/TencentARC/BrushNet
  • MAT，https://github.com/fenglinglwb/MAT

数据集

  • CelebA Dataset，https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
  • Places2，http://places2.csail.mit.edu/download.html
  • NVIDIA Irregular Mask Dataset，https://nv-adlr.github.io/publication/partialconv-inpainting

2、标注工具

3、生成数据

  • GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image
    https://github.com/GenImage-Dataset/GenImage

  • MetFaces，https://www.cvmart.net/dataSets/detail/1150

  • Flickr-Faces-HQ Dataset (FFHQ)，ttps://www.cvmart.net/dataSets/detail/1151

  • Oxford 102 Flower，https://www.cvmart.net/dataSets/detail/1152

  • CelebAMask-HQ，https://www.cvmart.net/dataSets/detail/1153

  • WHOOPS!，https://www.cvmart.net/dataSets/detail/1154

  • Cityscapes，https://www.cvmart.net/dataSets/detail/481

4、参考

计算机视觉常用数据集（不定期更新）
AlisaZqq
04-11 1135
计算机视觉常用数据集目录1. MNIST2. Kaggle网站“Dogs vs. Cats” 目录 1. MNIST 链接：https://pan.baidu.com/s/1fp3E279lOOwcx_Zq62-iaQ 提取码：p3tb 2. Kaggle网站“Dogs vs. Cats” 链接：https://pan.baidu.com/s/1ZfjfBCRjTU4Q1j5ST-k8wQ 提取码...
计算机视觉数据集
u011489887的专栏
04-27 445
1.分类minist手写数据集cirfar10,cirfar100voc2007,voc2012caltech101,caltech256ImageNetstl-10     STL-10为了发展无监督特征学习、深度学习、自我学习算法而建立的图片识别数据集。每一类有比CIFAR10更少的标定的训练样本，但有非常大的未标记样本在进行监督训练前提供给模型。主要的挑战在于好好利用未标记的数据（来源类似但...
计算机视觉算法实战——商场人流监控（主页有源码）
最新发布
m0_65481401的博客
03-10 944
随着城市化进程的加快和商业综合体的增多，商场人流监控成为了一个重要的研究领域。通过计算机视觉技术，商场管理者可以实时监控人流密度、分析顾客行为、优化店铺布局以及提高安全管理水平。这不仅有助于提升顾客的购物体验，还能为商场运营提供数据支持。商场人流监控是一个充满挑战和机遇的领域。随着计算机视觉技术的不断进步，未来将有更多高效、智能的算法应用于实际场景中，为商场运营和安全管理提供强有力的支持。希望本文能为读者提供一些有价值的参考和启发。
视觉数据集 集锦（转）
澄宁的博客
11-07 1387
参考：https://blog.csdn.net/Cydiachencc/article/details/84865194 https://blog.csdn.net/qq_14845119/article/details/51913171 1.0 MNIST 这个数据集主要就是手写数字数据集，这里的话整个数据集一共有60000张训练图片和10000张测试图片。 1.1 Animals 这个数据集...
常用视觉数据集（更新中）
xiaxuesong666的博客
12-24 576
10个类别，分别是飞机（airplane）、汽车（automobile）、鸟类（bird）、猫（cat）、鹿（deer）、狗（dog）、蛙类（frog）、马（horse）、船（ship）、卡车（truck）。“Hymenoptera Data” 数据集通常是指一个用于图像分类任务的小型数据集，用于训练深度学习模型，特别是用于蜜蜂和蚂蚁的分类。该数据集具有一定的挑战性，因为图像分辨率较低，类别之间的区分度较小，但仍具有足够的复杂性，以测试和评估各种图像分类算法的性能。
计算机视觉数据集整理（一）
lxiao428的博客
03-23 1584
1、Tiny Images Dataset 链接：http://horatio.cs.nyu.edu/mit/tiny/data/index.html 这是一个非常大的图像数据集，大约有近8000万张图片，每个图像为32x32彩色图像。 这些数据以大型二进制文件的形式存储，可以通过他们编写的Matlab工具箱加入。 您将需要大约400Gb的可用磁盘空间来存储所有文件。 总共有5个文件需要下载，...
Datasets
03-21
数据集在IT行业中扮演着至关重要的角色，它们是机器学习、数据分析和人工智能研究的基础。这里提到了两个数据集，"zoo.csv" 和 "titanic.csv"。 首先，我们来了解一下 "zoo.csv" 数据集。这个数据集通常被用于分类...
datasets
03-31
数据集在IT行业中扮演着至关重要的角色，它们是机器学习、数据分析、人工智能研究以及各种软件开发的基础。"datasets"这个标题暗示我们关注的是一个包含多种数据集的资源库或者一个项目，它可能涵盖了各种领域，如...
计算机视觉著名数据集CV Datasets
无名山丘，崛起成峰
07-05 9690
Detection PASCAL VOC 2009 datasetClassification/Detection Competitions, Segmentation Competition, Person Layout Taster Competition datasetsLabelMe datasetLabelMe is a web-based image annotation too
计算机视觉常用数据集介绍
leo0308的博客
07-30 779
计算机视觉领域常用数据集总结。
计算机视觉——常用数据集-附件资源
03-05
计算机视觉——常用数据集-附件资源
计算机视觉的一些测试数据集和源码站点
02-04
计算机视觉的一些测试数据集和源码站点，资源不错哦 。
CUHK Occlusion Dataset数据集 yolo格式+VOC格式 包括划分好的训练集和数据集
12-22
CUHK Occlusion Dataset数据集,用于行人检测，做好了yolo格式数据集的训练和划分，同时上传了yolo和voc两个格式的标签集。 包括：1.VOC格式（.xml文件）的数据集 2.yolo格式（.txt文件）的数据集 3.划分好的yolo格式的训练集和数据集 文件结构： images——train(训练集的jpg图片) ——val(测试集的jpg图片) labels——train(训练集的标签) ——val(测试集的标签) VOC2007——JPEGImages（数据集原本的1063张jpg图片） ——Annotations（数据集中图片对应的.xml标签文件——VOC格式） ——YOLOLabels（数据集中图片对应的.txt标签文件——yolo格式）
深度学习视觉常用数据集
weixin_43932042的博客
10-28 881
深度学习视觉常用数据集 ## 经典数据集 ImageNet： http://image-net.org/ LFW人脸数据库： http://vis-www.cs.umass.edu/lfw/lfw.tgz LSUN：场景理解与许多辅助任务（房间布局估计，显着性预测等） http://lsun.cs.princeton.edu/2016/ MS COCO： http://mscoco.org/ CO...
计算机视觉中常用数据集介绍
qq_54828577的博客
07-15 1878
详细介绍计算机视觉中常用的数据集
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（三）
wzk4869的博客
09-20 2589
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（三）
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（九）
wzk4869的博客
09-21 3741
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（九）
关于计算机视觉的一些测试数据集和源码站点
a573233077的专栏
01-08 1740
以下是computer vision：algorithm and application计算机视觉算法与应用这本书中附录里的关于计算机视觉的一些测试数据集和源码站点，转自：http://blog.sina.com.cn/s/blog_7798183d0102v1fz.html   在http://szeliski.org/Book包含了更新的数据集和软件，请同样访问他。 C.1
三、计算机视觉_10经典的数据集与目标检测数据标注格式
LC的博客
12-02 1372
PASCAL VOC数据集是计算机视觉领域较早的数据集之一，对目标检测技术的发展有重要影响，它包含的图像数量相对较少，但每个图像都经过了精心的标注，适合用于算法的验证和测试。尽管有上面这些标准的数据标注格式，但在标注数据时，我们通常并不是直接在标注文件中手写内容，而是通过一些可视化的工具来进行标注，让工具帮我们生成对应的标注文件内容。备注：做目标检测的数据标注，通常产生的是与图片相对应的标注格式文件，而不是产生标注后的图片，一般都是通过【原图】+【与之相对应的标注格式文件】进行项目开发。
ai人工智能算法工程师
02-07
### AI 人工智能算法工程师概述 AI 人工智能算法工程师是一个专注于设计、实现和优化各种复杂算法的专业角色，这些算法能够使计算机系统具备类似于人类的认知功能。随着技术的进步和发展，这一领域的工作不仅限于传统的软件开发，还涉及到前沿的研究和技术探索。 #### 职位描述 作为AI算法工程师的主要职责在于构建高效的机器学习模型来解决特定业务问题或提升现有系统的智能化水平。这通常涉及数据收集与预处理、特征提取、模型训练以及性能评估等多个环节[^1]。此外，在某些情况下还需要负责将实验室环境下的原型转化为生产环境中稳定运行的服务，并持续改进其效率和准确性。 #### 技能要求 成为一名合格的AI算法工程师需要掌握一系列关键技术： - **坚实的数学基础**：包括但不限于线性代数、概率论统计学等基础知识； - **熟悉常用ML/DL框架**：例如Scikit-Learn、TensorFlow 或 PyTorch 等工具可以帮助加速研发过程； - **理解不同类型的算法及其应用场景**：从经典的监督/无监督方法到最新的深度神经网络架构都应有所涉猎； - **拥有良好的沟通协作能力**：与其他团队成员紧密合作共同推进项目进展至关重要[^2]。 #### 职业发展路径 对于希望在这个行业中长期发展的个人来说，存在多种成长路线可供选择： - 向更高级别的专家迈进，深入钻研某一细分领域（比如自然语言处理），成为该领域的权威人物； - 进入管理层带领整个团队完成更大规模的任务挑战； - 切换至跨学科交叉地带开拓新的可能性，像生物信息学等领域同样渴求具有强大计算背景的人才加入。 ```python # Python代码示例展示如何加载一个简单的MNIST手写数字识别数据集 from sklearn.datasets import fetch_openml import matplotlib.pyplot as plt mnist = fetch_openml('mnist_784', version=1) def plot_digit(image_data): image = image_data.reshape(28, 28) plt.imshow(image, cmap="binary") plt.axis("off") some_digit = mnist.data.iloc[0] plot_digit(some_digit) plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值