Recurrent Neural Network for Text Classification with Multi-Task Learning

最新推荐文章于 2023-05-21 17:46:15 发布
最新推荐文章于 2023-05-21 17:46:15 发布
阅读量3.9k 收藏 8
点赞数 1
分类专栏： 论文阅读 深度学习 文章标签： textRnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33741547/article/details/84838877
版权
本文介绍了一种使用RNN进行多任务学习的方法来改进文本分类效果。通过设计不同信息共享机制的LSTM模型（Uniform-Layer、Coupled-Layer、Shared-Layer Architecture），在多个文本分类任务上取得良好表现。实验结果表明，这种方法能有效利用数据，提高模型性能。
摘要由CSDN通过智能技术生成

引言

Pengfei Liu等人在2016年的IJCAI上发表的论文，论文提到已存在的网络都是针对单一任务进行训练，但是这种模型都存在问题，即缺少标注数据，当然这是任何机器学习任务都面临的问题。
为了应对数据量少，常用的方法是使用一个无监督的预训练模型，比如词向量，实验中也取得了不错的效果，但这样的方法都是间接改善网络效果。
作者提出了一种新的方法，将多个任务联合起来训练，用来直接对网络进行改善，基于RNN设计了三种不同的信息共享机制进行训练，并在四个基准的文本分类任务中获得了较好的效果。

内容

网络结构

Standard LSTM

在这里插入图片描述
最为常见的LSTM结构，利用前面的LSTM网络进行特征提取，后接一个softmax进行分类。

Model-I: Uniform-Layer Architecture

在这里插入图片描述
对于每个任务，共享一个LSTM层和Eembedding层，同时每个任务都拥有自己的Eembedd

最低0.47元/天 解锁文章
lpty
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）
weixin_41697507的博客
07-07 4127
Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art pe...
Recurrent Neural Network for Text Classification
11-12
Neuralnetworkbasedmethodshaveobtainedgreat progress on a variety of natural language processing tasks. However, in most previous works, the models are learned based on single-task supervised objectives, which often suffer from insufficient training data. In this paper, we use the multitasklearningframeworktojointlylearnacrossmultiple related tasks. Based on recurrent neural network, we propose three different mechanisms of sharinginformationtomodeltextwithtask-specific and shared layers. The entire network is trained jointly on all these tasks. Experiments on four benchmark text classification tasks show that our proposedmodelscanimprovetheperformanceofa task with the help of other related tasks.
Recurrent Neural Network for Text Classification with Multi Task Learning
Ying_M
07-16 1501
目录论文阅读准备前期知识储备学习目标论文导读论文研究背景、成果及意义研究背景研究意义论文泛读论文结构摘要论文精读论文算法模型总览论文算法模型的细节细节一训练过程训练损失数据的选择微调预训练实验设置及结果分析数据集超参数的分析实验结果SOTA对比可视化分析错误分析论文总结关键点创新点启发点 论文阅读准备 前期知识储备 学习目标 论文导读 论文研究背景、成果及意义 研究背景 情感分类任务的应用场景：评论分析、数据挖掘上的分析、舆情舆论上的分析 基于机器学习的情感分类 基于深度学习的情感分类 前馈
论文（二）RecurrentNeuralNetworkforText ClassificationwithMulti-TaskLearning
Chrils_Evens的博客
07-30 332
今天看的是Recurrent Neural Network forText Classification with Multi-TaskLearning ，，主要讲的是将文本识别更好的用于多任务分类 解决问题：为了解决单任务NLP而提出的多任务文本分类（单任务只解决一种问题，耗时耗力） 设置了三种模型。（基于LSTM） 其中第一个，第三个都是有共享层的 （一）Xm，Xn代表不同的任务，Xs代表e...
论文笔记--Recurrent Neural Network for Text Classification with Multi-Task Learning
最新发布
weixin_38124427的博客
05-21 225
三种基于多任务学习的RNN训练框架，充分利用多任务数据集完成下游任务
Recurrent Convolutional Neural Networks for Text Classification
05-21
找到了国外的一篇文章《Recurrent Convolutional Neural Network For Text Classification》
阅读笔记：Adversarial Multi-task Learning for Text Classification [ACL-2017]
图不灵的博客
04-12 3373
【阅读笔记：Adversarial Multi-task Learning for Text Classification】 论文题目：Adversarial Multi-task Learning for Text Classification 作者：Pengfei Liu, Xipeng Qiu and Xuanjing Huang 出处：ACL 2017 ...
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
qq_27009517的博客
10-12 1541
文章目录Abstract1. Introduction2. Related Work2.1. Text Detection2.2. Text Recognition2.3. Text Spotting Systems3. Model3.1. Overall Architecture3.2. Text Proposal Network3.3. Region Feature Encoder3.4. T...
Recurrent Convolutional Neural Networks for Text Classification阅读笔记
cat12385的博客
10-13 4036
下面是我对这篇文章内容的整理，因为刚刚接触这一方向，读的这方面的文章还比较少，知识的了解也不够，如果有不对的地方还请大家批评指正，谢谢！                                                    RecurrentConvolutional Neural Networks for Text Classification 主要工作： 1.提出一种新的
论文Recurrent Convolutional Neural Networks for Text Classification的实验部分
fredinators的博客
03-05 534
使用的基本模型结构： 实验实验中使用了四个数据集。20Newsgroups：qwone.com/˜jason/20Newsgroups/数据集包含20个新闻组的信息，我们使用日期版本并选择四种主要类别（综合，政治，娱乐和宗教）Fudan set：2www.datatang.com/data/44139 and 43543复旦大学文件分类集合是一个中文文件分类集合，包含20个分类，包括艺术教育和能源...
基于TextRNN实现情感短文本分类任务
CSDN 精品推荐
12-30 1235
文本分类任务中，CNN可以用来提取句子中类似N-Gram的关键信息，适合短句子文本。TextRNN擅长捕获更长的序列信息。具体到文本分类任务中，从某种意义上可以理解为可以捕获变长、单向的N-Gram信息（Bi-LSTM可以是双向）。
Multi-Task Deep Neural Networks
guoyuhaoaaa的博客
11-18 2590
本博客主要参考了《Recurrent Neural Network for Text Classification with Multi-Task Learning》2016 IJCAI会议。 《Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Informat
论文列表——text classification
ZSY的大后台
10-04 2357
列出自己阅读的text classification论文的列表，以后有时间再整理相应的笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5。列表如下： 名称 所属会议 类型 时间 阅读价值 Recurrent Convolutional Neural Networks for Text Classification AAA...
用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践（转载）
热门推荐
u013818406的博客
04-05 1万+
近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。 业务问题描述： 淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”。淘宝网后台是通过树形的多层的类目体系管理商品的，覆盖叶子类目数量达上
【NLP傻瓜式教程】手把手带你RNN文本分类(附代码)
fengdu78的博客
02-24 4132
文章来源于NewBeeNLP，作者kaiyuan写在前面这是NLP傻瓜式教程的第二篇----基于RNN的文本分类实现（Text RNN）参考的的论文是来自2016年复旦大学IJCAI上的...
论文《Recurrent Convolutional Neural Networks for Text Classification》总结
rxt2012kc的博客
06-26 1万+
《Recurrent Convolutional Neural Networks for Text Classification》论文来源：Lai, S., Xu, L., Liu, K., & Zhao, J. (2015, January). Recurrent Convolutional Neural Networks for Text Classification. In AAAI (Vol
ERNIE: 2.0带来了什么
luv_dusk 的博客
08-04 1853
最近一段日子，我们很惊喜地看到越来越多的华夏面孔出现在自然语言处理领域的前沿。从最近叱诧风云的 XLNet 到上个星期自然语言处理顶会 ACL 2019 年的最佳长论文 (还有更多入会论文)，主要负责人都是华人/国人。夹杂着这些好消息，带着 16 项中英文 SOTA 成绩，ERNIE 2.0 的发布更是把自然语言处理的舆论氛围推向了巅峰。就百度而言，无论在产品上如何遭人诟病，其依旧是 IT 从业者们的技术天堂，ERNIE 2.0 向我们展现了它的实力。本篇文章中，我们同样以论文作为标题开始我们的解读： -
基于深度学习的文本分类综述
qq_40377498的博客
04-19 4969
《Deep Learning Based Text Classification: A Comprehensive Review》总结笔记。 1.序章 基于深度学习的文本分类模型在情感分析、新闻分类、问答和自然语言推理等多种文本分类任务中已经超越了经典的基于机器学习的方法。论文在回顾150多种深度学习模型后，分类简单讲述了多种文本分类模型，涵盖了基于前馈神经网络的模型、基于RNN的模型、基于CNN...
Recurrent Neural Network
04-22
(RNN) 是什么，它有哪些应用领域？ Recurrent Neural Network (RNN) 是一种用于处理序列数据的神经网络。与传统的神经网络不同，RNN 在处理序列数据时可以保留和更新先前输入的信息。这种能力使得 RNN 在自然语言处理、语音识别、机器翻译等序列数据处理领域得到广泛应用。例如，可以使用 RNN 做文本分类、情感分析、预测下一个单词、生成语言模型等任务。此外，RNN 还可以用于时间序列预测、信号处理、图像描述等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值