情感分析（文本分类）数据集汇总

于 2024-03-04 19:09:51 发布
阅读量7.9k 收藏 91
点赞数 28
分类专栏： 深度学习/机器学习 文章标签： python 数据分析 机器学习 深度学习 分类 多分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50714222/article/details/136444921
版权
本文概述了情感分析中的中文数据集，包括多分类（如财经、新闻分类）和二分类（如正面与负面情感）的示例，如THUCNews、今日头条、Sogou新闻数据集等，以及英文数据集如Yelp和IMDb。作者还提及了相关论文和挑战赛，展示了在实际应用中的进展和资源获取途径。
摘要由CSDN通过智能技术生成

想在推荐前对评论做一些情感分析方面的工作,参考网上其它博主的博客大概整理了一下情感分析方面的数据集的内容，大致分为两类——多分类和二分类（俺比较关注的），中英文的数据集都汇总整理了一下，后面会关注一下相关的比较新的论文（工作），欢迎同仁们补充和推荐，现在还在探索搜集资料阶段。

情感分析（文本分类）流程

中文的数据集

多分类（文本所属的种类）

THUCNews数据集

THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。使用THUCTC工具包在此数据集上进行评测，准确率可以达到88.6%。

数据集地址： http://thuctc.thunlp.org/

今日头条新闻文本分类数据集

数据来源：今日头条客户端 数据规模：共382688条，分布于15个分类中。 数据格式：6552431613437805063_!_102_!_news_entertainment_!_谢娜为李浩菲澄清网络谣言，之后她的两个行为给自己加分_!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们

每行为一条数据，以_!_分割的个字段，从前往后分别是 新闻ID，分类code（见下文），分类名称（见下文），新闻字符串（仅含标题），新闻关键词

数据集地址：https://github.com/fate233/toutiao-text-classfication-dataset

全网新闻数据(SogouCA)

来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

<doc>
<url>页面URL</url>
<docno>页面ID</docno>
<contenttitle>页面标题</contenttitle>
<content>页面内容</content>
</doc>
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/ca.php

搜狐新闻数据(SogouCS)

来自搜狐新闻2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为
<doc>
<url>页面URL</url>
<docno>页面ID</docno>
<contenttitle>页面标题</contenttitle>
<content>页面内容</content>
</doc>
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/cs.php

 dmsc_v2数据集

28部电影，超70万用户，超200万条评分/评论数据

数据集地址：https://pan.baidu.com/s/1c0yn3TlkzHYTdEBz3T5arA

原始数据集地址：https://www.kaggle.com/utmhikari/doubanmovieshortcomments

yf_dianping数据集

24 万家餐馆，54 万用户，440 万条评论/评分数据

数据集地址：https://pan.baidu.com/s/1yMNvHLl6QYsGbjT7u51Nfg 原始数据集地址：http://yongfeng.me/dataset/

yf_amazon数据集

52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据

原始数据集地址：http://yongfeng.me/dataset/ 数据集地址：

二分类（文本情感的正负）

包含领域：酒店、外卖平台、在线商城、新浪微博

ChnSentiCorp_htl_all数据集

7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论

数据字段：
Label：1表示正向评论，0表示负向评论
Review：评论内容

数据集地址： https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv

waimai_10k数据集

某外卖平台收集的用户评价，正向4000 条，负向约 8000 条

数据字段：

Label：1表示正向评论，0表示负向评论
Review：评论内容

数据集地址： https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/waimai_10k/waimai_10k.csv

online_shopping_10_cats数据集

10 个类别（书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店），共 6 万多条评论数据，正、负向评论各约 3 万条

数据集下载地址： https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip

weibo_senti_100k数据集

10 万多条，带情感标注新浪微博，正负向评论约各 5 万条。

数据集下载地址： https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/weibo_senti_100k/intro.ipynb

simplifyweibo_4_moods数据集

36 万多条，带情感标注 新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条

数据集下载地址： https://pan.baidu.com/s/16c93E5x373nsGozyWevITg

https://pan.baidu.com/s/1SbfpZb5cm-g2LmnYV_af8Qq

其它

Datahub数据中心

包含文本分类、情感分析以及知识图谱的数据集

相关地址：http://www.datahub.ileadall42.com/data/list?category=2&parent_category=1

知乎看山杯数据集

数据集下载地址：https://pan.baidu.com/s/1qUr6IQQn6DzrMlbaAUZslQ 提取码: qbiw

AI_challenger情感分析数据集

数据集分为训练、验证、测试A与测试B四部分。数据集中的评价对象按照粒度不同划分为两个层次，层次一为粗粒度的评价对象，例如评论文本中涉及的服务、位置等要素；层次二为细粒度的情感对象，例如“服务”属性中的“服务人员态度”、“排队等候时间”等细粒度要素。

数据集下载地址：https://github.com/nju161250102/AI_challenger/tree/master/data

复旦中文文本分类语料库

数据链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg 密码:zyxa

英文的数据集

Yelp

https://www.kaggle.com/yelp-dataset/yelp-dataset

这个数据集有两个，一个是有5个评级标签的（Yelp-5），一个是正负情感标签的（Yelp-2）。

  • Yelp-5 每一类有 650000 条训练样本和 50000 条测试样本。
  • Yelp-2 每一类有 560000 条训练样本和 38000 条测试样本。

IMDb

https://www.kaggle.com/lakshmi25npathi/imdb-dataset-of-50k-movie-reviews

电影评论情感二分类。包含同等数量的正负情感样本，各自有 25000 条样本。

这个数据集下载了，黎明只有两个属性：review、sentiment(positive or negative）

Movie Review（MR）

Thumbs up?: sentiment classification using machine learning techniques

电影文本正负情感二分类，总共包含 10662 条样本。经常使用 随机切割的10折交叉验证 来测试这个数据集。

The Stanford Sentiment Treebank（SST）

介绍链接：SST-2 Dataset | Papers With Code

【看了一下最优模型的代码，有点多】

电影评论提取，人工标注

Recursive deep models for semantic compositionality over a sentiment treebank

上一个数据集 MR 的扩展版本。有两个版本可以用。一个是包含五个标签的 SST-1，一个是二分类的 SST-2.

  • SST-1 一共有 11855 条样本，其中 8544 条训练样本，1101 条验证样本，2210 条测试样本。
  • SST-2 6920 条训练样本，872 条验证样本，1821 条测试样本。

MPQA

Annotating expressions of opinions and emotions in language

多视角问答数据集，是一个意见语料库，有两个标签。一共有 10606 条样本。这是一个 不均衡数据集，3311 条正样本和 7293 条负样本。

Amazon

https://www.kaggle.com/datafiniti/consumer-reviews-of-amazon-products

来自亚马逊购物网站的商品评论，也有两个版本：二分类和多分类。

  • 二分类版本 有 3600000 条训练样本和 400000 条测试数据。
  • 五分类版本 有 3000000 条训练样本和 650000 条测试样本。

通过评分来对评论完成二分类：yelp['label'] = ['1' if star > 3 else '0' for star in yelp['stars']];

上图链接:Sentiment Analysis on Amazon Product (RNN-97% Acc) | Kaggle

其他的

  • SemEval-2014 Task 4
Semeval-2016 task 5: Aspect based sentiment analysis
  • Twitter
Adaptive recursive neural network for target-dependent twitter sentiment classification
  • SentiHood
Sentihood: Targeted aspect based sentiment analysis dataset for urban neighbourhoods

参考博客

文本分类（情感分析）中文数据集汇总 - 知乎

【数据】情感分析数据集 - 知乎

文本分类综述 | 迈向NLP大师的第一步（下）

A Survey on Text Classification:From Shallow to Deep Learning,2020

小小程序媛(*^▽^*)
关注
  • 28
    点赞
  • 踩
  • 91
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
情感分析系列（一）——IMDb数据集及其预处理
⚡
10-28 8556
IMDb数据集及其预处理
文本分类--情感分析
runing
01-03 1571
（纯属为了记录自己学习的点滴过程，引用资料都附在参考列表） 1 基本概念 情感分析 对于情感分析而言，只需要准备标注了正负情感的大量文档，就能将其视作普通的文本分类任务来解决。此外，一些带有评分的电影、商品评论也可以作为“天然”的标注语料库。 2 问题 给出某酒店评论数据，正负评论各2000条组成，训练情感分类模型，并对测试数据预测； 3 解决思路 化归为文本分类问题，使用文本分类的一般步骤，算法使用Naive Bayesian Model； 4 实现 # -*- coding:utf-8 -*- fro
中文文本情感分析案例和数据集
07-08
中文文本情感分析案例 课程配套程序 该文件夹是本次课程配套的程序，打来即可使用 课后作业数据集 为大家课后作业的数据集，可以在该数据集上进行相关训练 test.tsv为测试数据集，测试模型准确度 train.tsv为训练集，用于模型训练 预处理程序 预处理程序文件夹是供大家研究预处理的程序，主要涉及到正则表达式知识点
关于文本分类（情感分析）的英文数据集汇总
lip
07-31 1万+
关于文本分类（情感分析）的英文数据集汇总 20 Newsgroups数据集： The 20 Newsgroups data set is a collection of approximately 20,000 newsgroup documents, partitioned (nearly) evenly across 20 different newsgroups. The data is o...
微博评论情感分析（NLP，LSTM）
热门推荐
qq_44886972的博客
05-06 1万+
主要工作就是通过对120000条微博评论的数据集训练模型，预测评论的情绪倾向，将情绪结果简单的分为积极情绪和消极情绪。虽然在训练集和测试集上表现的不错，但是经过自己的手动测试发现效果不太好。原因应该是数据集的数据质量不高，没有做数据清洗（后续可以尝试）其中的很多评论会掺杂很多一些符号表情的代码和@符号。尽管如此，本文的代码是可以套用到别的数据集中的，如果有需要可以使用自制数据集获得更好的模型。希望本文的整套流程可以为朋友们带来一些帮助。PS：全篇实现过程全部为套用别的文章，如有雷同，算我抄袭。
文本分类（情感分析）——中文数据集汇总
最新发布
小嘤熊的博客
11-13 8021
会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！
情感分析数据集
11-27
情感分析的数据集。斯坦福大学收集的。。。。。。。。。
情感分析数据集（正面10000条，负面5000条）
07-17
吸收了 谭松波 非平衡酒店评论语料库（7000条正面，3000条负面，有部分重复数据），加上我从携程上抓取的数据，经过繁简转换、去重、去掉4字以下过短评论，形成最终的评论数据集（10000条正面，5000条负面，文本中每行为一个评论），欢迎下载使用！ps.数据正负面归类是按照携程上“值得推介”和“有待改善”栏目做初步区分，然后再经过人工筛选剔除归类错误的数据形成，因此难免会有错误，欢迎修正！358473546@qq.com
微博情感分析数据集
10-14
微博情感200万条数据集，情感分析研究人员的很好的实验数据
kaggle 文本情感分析数据集
01-09
kaggle 电影评论情感分析（Bag of Words Meets Bags of Popcorn）的全部数据集，自己上网找了半天都找不到，最后是让同学上外网下的，在这里分享给想学习nlp的同学
中文评论情感分析数据集
01-31
谭松波中文评论情感分析，1为正向情感，0为负向情感，
情感分类数据集.rar
11-03
数据集中是对用户评价的一些正面和负面的评价语句。正面有10679条语句，负面有10428条语句。可用于训练评价分析模型。
Sentiment Analysis 中文情感分析-数据集
03-19
该数据集包括了四个领域的中文评论：笔记本电脑、汽车、相机和手机，评论属于 二分类 任务及正面或负面。可被用作于 自然语言处理 中情感分类任务。 camera_label.txt camera_sentence.txt car_label.txt car_sentence.txt car_target.txt notebook_label.txt notebook_sentence.txt notebook_target.txt phone_label.txt phone_sentence.txt phone_target.txt camera_target.txt
情感文本分类-数据集
03-26
评论情感分析数据集
05-08
xls格式，评论情感分析的数据集，比较小的数据集，很适合用来验证模型，进行实验。
千言数据集：情感分析 数据集汇总
06-13
千言数据集的情感分析部分可能包含多个子集，每个子集可能针对不同的文本类型，如电影评论、产品评价、微博等，这增加了模型泛化能力的挑战。数据集的结构可能如下： - 训练集：供模型学习的主要数据，用于训练算法...
【数据挖掘/机器学习/文本分类】2000~2019年英文文献摘要数据集，16类，每类100篇
03-14
本数据集为2000~2019年大部分英文文献摘要集合的子集，分agriculture、anatomy、business、chemistry、economics、education、geology等十六类。 每条数据由五部分组成：序号、分类、文献名称、摘要、期刊名称。 ...
深度学习开源数据集分类汇总.pdf
04-27
2. 自然语言处理：例如，用于文本分类的IMDB电影评论数据集、情感分析的Twitter数据、机器翻译的WMT数据集以及问答系统的SQuAD。这些数据集用于训练循环神经网络（RNN）、长短时记忆网络（LSTM）和Transformer等模型...
搜狗新闻文本分类数据集sougocs
07-02
搜狗新闻文本分类数据集sougocs是一个广泛用于文本分类任务的数据集。该数据集包含大量真实的新闻文本，具有多个类别标签，例如体育、娱乐、科技等。这些新闻文本被广泛收集自互联网上各种新闻网站。 sougocs数据集对于进行文本分类研究和模型训练具有重要意义。它可以用于构建和改进文本分类模型，帮助我们更好地理解和处理大量文本数据。通过对这些新闻文本的分类，我们可以更准确地为用户推荐相关的新闻内容，提供个性化的信息服务。 该数据集的规模庞大，其中包含了数十万条新闻文本样本。这些样本具有不同的文本长度、语言风格和主题。为了提高模型的性能，该数据集还提供了多个类别标签，使得我们可以进行多分类的文本分类任务。 通过使用这个数据集，研究人员可以进行大规模的文本分类实验，评估不同的模型算法和特征选择方法在文本分类任务上的效果。同时，该数据集也为机器学习和自然语言处理领域的学者们提供了一个标准基准，可以用于比较不同方法的性能。 总而言之，搜狗新闻文本分类数据集sougocs是一个重要的资源，可用于进行文本分类研究和应用。它不仅可以帮助我们提高文本分类模型的性能，还可以促进对于大规模文本数据的处理和分析的进一步研究。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值