CNN for NLP

最新推荐文章于 2022-04-08 13:41:10 发布
最新推荐文章于 2022-04-08 13:41:10 发布
阅读量183 收藏
点赞数
分类专栏： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41747565/article/details/91490350
版权

Understanding Convolutional Neural Networks for NLP

卷积

应用于矩阵的滑动窗口函数。滑动窗口又称内核，过滤器或特征检测器。 我们使用3×3滤波器，将其元素值与原始矩阵相乘然后相加。 通过在整个矩阵上滑动滤波器来为每个元素执行此操作获得完整的卷积。

(1)用相邻值对每个像素求平均使图像模糊

(2)取像素与其邻居之间的差异来检测边缘

CNN

CNN基本上是几层卷积，利用非线性激活函数如ReLU或tanh对结果进行处理

计算特点：位置不变性和组合性

CNN for NLP

输入：表示为矩阵的句子或文档，矩阵的每一行对应一个单词或字符(word2vec, GloVe, one-hot vectors可进行词映射)

filter：“宽度”通常与输入矩阵的宽度相同；高度或区域大小可能有所不同，但典型的滑动窗口大于2-5个单词或字符

CNN超参数

狭窄卷积与宽卷积

zero-padding：所有落在矩阵之外的元素都被认为是零

输出：n_ {out} =(n_{in}+2*n_{padding}-n_{filter})+1

窄卷积的输出：(7-5)+1=3，宽卷积的输出：(7+2*4-5)+1=11

步幅大小

每一步过滤器移动的长度

池化

池层对其输入进行子采样， 将最大操作应用于每个过滤器的结果

池化提供固定大小的输出矩阵

池化会降低输出维数，但可以保留最显着的信息

通道

可以为不同的单词映射(如word2vec,GloVe)设置单独通道，可以为不同语言表示的相同句子设置通道，或以不同方式表达

CNN在NLP中的应用

1.分类任务的应用：情感分析，垃圾邮件检测或主题分类

2.CNN架构的建立：超参的选择--输入的表示(word2vec，GloVe，one-hot)，卷积滤波器的数量和大小，池化策略（最大值，平均值）和激活函数(ReLU，tanh)

max-pooling总是超过average-pooling
理想的滤波器尺寸很重要，但与任务有关
正规化在NLP任务没有产生很大不同

 

yyyybupt
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attention-Based-Siamese-Text-CNN-for-Stance-Detection:复旦大学自然语言处理专业（DATA130006）的最终项目
05-13
这是NLP课程的最终项目。 我们的工作包括以下几个部分： 数据预处理 常规机器学习方法 Seq2seq注意模型 TextCNN和暹罗网络 其他（例如比赛中的相关工作，未来的工作） 1.数据预处理 我们提供了几种数据预处理方法...
理解NLP中的CNN（翻译）
小乖的崽崽的地盘
12-01 764
理解NLP中的CNN 翻译博文：Understanding Convolutional Neural Networks for NLP
卷积神经网络（CNN）概述及其在NLP中的应用（一）
liuyuemaicha的专栏
12-18 1万+
原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（comp
Lecture 11: ConvNets for NLP
weixin_42017042的博客
02-07 281
文章目录From RNNs to Convolutional Neural NetsCNNS 推荐一本书 From RNNs to Convolutional Neural Nets 循环神经网络不能捕获没有前缀上下文的短语 总是捕获了太多最后一个词的信息在最终词向量中 例如，softmax总是在最后一步计算 RNN的主要思想： 对每个固定长度的可能的词序列计算一个向量 例...
卷积神经网络（CNN）应用于自然语言处理（NLP）
qq_21460525的博客
03-15 7653
说到CNN，大家自然想到图像处理。 说到NLP，大家自然想到LSTM，RNN。 但是，去年的斯坦福论文表明，CNN照样可以应用于NLP，并且效果可能更好。博主做了实验，爬取了各类新闻并对新闻进行分类。这样的分类问题，RNN和CNN都可以达到99%左右的效果，但是，CNN几乎比RNN快了5倍。于是，博主主要针对CNN对于NLP处理中的细节展开讨论。1.CNN为什么可以处理NLP 随着词向量的发展
CNN for NLP——Convolutional Neural Networks for Sentence Classification
GerHard 的博客
06-14 906
又要开始一段看论文的调研生活了。那我开始翻译整理论文了。 《Convolutional Neural Networks for Sentence Classification》 这是一篇很经典的用卷积神经网络做文本分类的文章。 作者是纽约大学（New York University）的 Yoon Kim github是 https://github.com/yoonkim/CNN_sent...
理解NLP中的卷积神经网络（CNN）
土豆洋芋山药蛋的博客
04-26 8211
此篇文章是Denny Britz关于CNN在NLP中应用的理解，他本人也曾在Google Brain项目中参与多项关于NLP的项目。 · 翻译不周到的地方请大家见谅。 阅读完本文大概需要7分钟左右的时间，如果您有收获，请点赞关注 ：） 一、理解NLP中的卷积神经网络（CNN） 现在当我们听到神经网络（CNN）的时候，一般都会想到它在计算机视觉上的应用，尤其是C...
CNN在NLP中的应用
earofreceiver的博客
03-05 1865
CNN最初是用于图像分类，提取图像的特征。CNN在图像里，采用的是2D的卷积，如图所示。 而在NLP中，同样可以把要处理的一句话看成图像。可以将一句话中的多个词排成一列，每一行代表着对应的这个词的词向量。这样，也就把NLP的问题也变成了图像问题，NLP的分类问题也就可以应用图像分类所采用的CNN了。 关于卷积 当然在NLP的CNN中，采用2D卷积，“横向”挪动卷积核其实是没有意义的。因为词向量...
快速入门CNN在NLP中的使用
LW的技术小筑
04-08 2573
一.前言 对于文本序列，我们一般想到的应用循环神经网络（RNN），事实证明RNN在NLP中确实效果很好。但是RNN也存在一个问题，就是序列前后具有依赖关系，无法并行。而卷积神经网络（CNN）却能克服这个缺陷，且能取得不错的性能。最近博主会更新一波关于CNN在特定NLP任务上的博文，为方便理解，先放出一篇关于文本卷积的博文。 二.文本卷积 对于图像卷积，我们可能很熟悉，就是利用一个卷积核在图片上从左到右、从上到下进行滑动，然后将卷积核覆盖的元素乘以卷积核对应的元素进行求和。 那么对于文本，卷积操作是如何进行
卷积神经网络CNN及其在NLP中应用
orangerfun的博客
12-26 1567
1.卷积的优点 在图像处理中，卷积层通常比全连接层需要更少的参数，但依旧获得高效用的模型 设输入图像为28X28,隐藏层有15个神经元，卷积核size=5*5 对于全连接网络总共参数为：28x28x15=11760 对于卷积网络所需参数数量：5x5=25 多个输入和输出通道使模型在每个空间位置可以获取图像的多方面特征 2. 卷积操作 卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出 互相关和卷积的关系： 卷积层执行互相关运算并学习得到的卷积核为K， 其他条件不变，当这个层执行
CNN在NLP领域的实践（1） 文本分类
热门推荐
diye2008的博客
11-09 2万+
众所周知，卷积神经网络（CNN）在计算机视觉领域取得了极大的进展，但是除此之外CNN也逐渐在自然语言处理（NLP）领域攻城略地。本文主要以文本分类为例，介绍卷积神经网络在NLP领域的一个基本使用方法，由于本人是初学者，而且为了避免东施效颦，所以下面的理论介绍更多采用非数学化且较为通俗的方式解释。 0.文本分类 所谓文本分类，就是使用计算机将一篇文本分为a类或者b类，属于分类问题的一种
PyTorch CNN，用于对电影评论进行情感分类
03-27
PyTorch CNN，用于对电影评论进行情感分类，基于Yoon Kim（2014）的论文 "Convolutional Neural Networks for Sentence Classification"。 文本分类的任务通常是用RNN来完成的，它接受一个单词序列作为输入，并有一...
cnn文本分类.rar
08-20
基于CNN的文本分类代码包，​CNN（Convolutional Neural Network）即卷积神经网络，本质上，CNN就是一个多层感知机，只不过采用了局部连接和共享权值的方式减少了参数的数量，使得模型更易于训练并减轻过拟合。...
Neural Network Methods for Natural Language Processing
12-29
一部值得精读的著作,将神经网络方法和自然语言处理的相关课题紧密的联合了起来.介绍了神经网络的构建细节和机器学习的一些基本内容,并且包含了RNN,CNN等主流神经网络在NLP中的应用实例,另外2017年新书,有最新的学术...
non-anonymized-CNN-DailyMail:用于处理非匿名CNN和DailyMail的脚本，以进行摘要
05-17
生成非匿名CNN和DailyMail进行摘要的脚本。 参考： 环境 python 3.6 特征 由CoreNLP标记 ... # for dailymail(similar for cnn) # if your device has multiple CPUs, you could speed up by setting -worker
【转】卷积神经网络如何用在NLP上
Lucky
03-13 745
点击前往集智专栏阅读原文 原文：Understanding Convolutional Neural Networks for NLP 作者：Denny Britz 翻译：Kaiser 当我们听到“卷积神经网络”(CNN，当然，不是特朗普说Fake News那个CNN)，通常会想到计算机视觉。图像分类的重大突破，以及当下大多数计算机视觉系统的核心，都要归功于CNN，从的自动照片打标...
CNN For NLP
寸先生的AI道路
01-07 1408
CNN for NLP (CS224D) 斯坦福课程CS224d: Deep Learning for Natural Language Processing lecture13：Convolutional neural networks – for sentence classification 　　主要是学习笔记，卷积神经网络（CNN），因为其特殊的结构，在图像
为什么用CNN做NLP
fkyyly的专栏
02-26 2147
一、引例我们首先来看这么一个问题，假设我们需要对句子做情感上的分类。传统的词袋模型或者连续词袋模型都可以通过构建一个全连接的神经网络对句子进行情感标签的分类，但是这样存在一个问题，我们通过激活函数可以让某些结点激活（例如一个句子里”not”,”hate”这样的较强的特征词），但是由于在这样网络构建里，句子中词语的顺序被忽略，也许同样两个句子都出现了not和hate但是一个句子（I do not h...
cnn-gru在自然语言处理方面的文献综述
最新发布
04-29
CNN-GRU是一种神经网络结构，结合了卷积神经网络（CNN）和门控循环单元（GRU），常用于自然语言处理（NLP）任务中，如文本分类、情感分析、机器翻译等。下面是一些关于CNN-GRU在NLP方面的文献综述： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值