自然语言处理常用数据集

最近需要从文本中抽取结构化信息，收集到很多数据，遂整理了一下，后续会不断更新。

涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据。

深度学习常用数据集资源（计算机视觉领域）

目录

1、MNIST 

2、ImageNet 

4、COCO 

5、PASCAL VOC

6、FDDB

---

1、MNIST 

深度学习领域的入门数据集，当前主流的深度学习框架几乎都将MNIST数据集的处理入门第一教程。MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28*28，数字放在一个归一化的、固定尺寸的图片的中心。

数据集大小：~12MB

下载地址：MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges

2、ImageNet 

Imagenet数据集是目前深度学习图像领域应用得非常多的一个领域，关于图像分类、定位、检测等研究工作大多基于此数据集展开。Imagenet数据集文档详细，有专门的团队维护，使用非常方便，在计算机视觉领域研究论文中应用非常广，几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。

Imagenet数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注。

数据集大小：~1TB

下载地址：http://www.image-net.org/about-stats

CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。CIFAR-100则是包含100个类，每类有600张图片，其中500张用于训练，100张用于测试；这100个类分组成20个超类。图像类别均有明确标注。CIFAR对于图像分类算法测试来说是一个非常不错的中小规模数据集，虽然用得人比以前少了很多，但仍然能用它做有趣的合理性测试。

数据集大小：~170MB

下载地址：CIFAR-10 and CIFAR-100 datasets

4、COCO 

COCO数据集由微软赞助，其对于图像的标注信息不仅有类别、位置信息，还有对图像的语义文本描述，COCO数据集的开源使得近两三年来图像分割语义理解取得了巨大的进展，也几乎成为了图像语义理解算法性能评价的“标准”数据集。

数据集大小：~40GB

下载地址：http://mscoco.org/ 

5、PASCAL VOC

PASCAL VOC图片集包括20个目录：人类；动物（鸟、猫、牛、狗、马、羊）；交通工具（飞机、自行车、船、公共汽车、小轿车、摩托车、火车）；室内（瓶子、椅子、餐桌、盆栽植物、沙发、电视）。PASCAL VOC挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。

数据集大小：~2GB

下载地址：The PASCAL Visual Object Classes Challenge 2012 (VOC2012)

6、FDDB

FDDB是全世界最具权威的人脸检测评测平台之一，包含2845张图片，共有5171个人脸作为测试集。测试集范围包括：不同姿势、不同分辨率、旋转和遮挡等图片，同时包括灰度图和彩色图，标准的人脸标注区域为椭圆形。该数据集的图片来自于美联社和路透社新闻报道图片，并删除了重复图片。

。。。。。。。。。。。。。。。。。

版权原因，完整文章，请参考如下：

深度学习常用数据集资源（计算机视觉领域）