动态卷积网络和n-gram思想用于句分类

最新推荐文章于 2022-11-12 11:54:30 发布
最新推荐文章于 2022-11-12 11:54:30 发布
阅读量792 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/103221273
版权

动态卷积网络和n-gram思想用于句分类

链接: 数据集 提取码: 6cgu

基于深度学习的序列模型

《A Convolutional Neural Network For Modelling Sentences》
一种用于句子建模的卷积神经网络
作者：Nal Kalchbrenner等
单位：University of Oxford
发表会议及时间：ACL 2014

描述了一种优秀的句子分类模型

四 问题思索

一 论文导读

1.句子建模简介
2.相关技术

1.句子建模简介
句子建模的目标：表征句子语义内容
问题是：单个句子很少重复出现，所以要从单词入手

2.相关技术

一 词表征

在传统的NLP中，我们把单词作为离散的变量，即局部表征

例子：单词可以作为独热向量

向量的维度等于单词的在字典中的数量

但是这种独热表征是正交，无关的

二 基于分布式相似性的表征

词嵌入：一个单词的意思通过其周围频繁出现的单词所决定
如何使用相邻的单词去表达所要表达单词的含义呢？
使用共现矩阵，共现矩阵满足一下三种特征

  1. 包含单词意和词性信息
  2. 窗口大小为1
  3. 对称
    在这里插入图片描述
    基于窗口的共现矩阵：

在这里插入图片描述
简单共现向量的问题

  1. 单词量增加后，矩阵的尺寸增加较大
  2. 需要大量的存储空间
  3. 矩阵很稀疏
  4. 模型不强壮

解决方案：使用低维向量
低维度的密集向量
大小通常为25-1000维
方法一：在共现矩阵X上降维
基于奇异值分解
在这里插入图片描述
效果：
句法模式：相同意思的邻近
在这里插入图片描述
语义模式：左下方偏于动词 右上方偏于名词

在这里插入图片描述

该方法存在问题如下：主要是算法复杂度高，计算困难，对新单词不敏感，模型不够强壮
在这里插入图片描述

解决方案：直接用一个单词去预测它周围的单词，直接学习和使用低维向量

在这里插入图片描述

方法2：直接学习低维向量（word2vec）

直接用单词去预测周围的向量
在这里插入图片描述
在这里插入图片描述
算法：
在这里插入图片描述
优点：很好的去编码词与词之间的相似性

在这里插入图片描述
到了word2wec词的表征已经有了较好的表现

接下来就是对句子的建模

从词向量到句子建模

二 论文精读

1.论文整体框架
2.经典算法模型
3.模型
4.实验和结果
5.讨论和总结

1.论文整体框架

  • Abstract
  • Introduction
  • Background
  • Model:Convolutional Neural Networks with Dynamic k-Max Pooling
  • Analysis:Properties of the Sentence Model
  • Experiments
  • Conclusion

2.经典算法模型

  • 词袋模型
    在这里插入图片描述

  • 连续词袋模型
    在这里插入图片描述

  • 深度的连续词袋模型
    有一定的特征融合，可以考虑到不同词之间的组合，比如not 和 hate
    在这里插入图片描述

  • n-grams词袋模型
    缺点：参数量会爆炸增长
    在这里插入图片描述

  • 1维卷积/时间延迟网络

  • 循环神经网络
    在这里插入图片描述

  • 递归神经张量网络
    在这里插入图片描述
    在这里插入图片描述

3.模型

在这里插入图片描述

4.实验和结果

5.讨论和总结

三 代码实现

*Major*
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于n-gram卷积神经网络的MoRF预测
03-02
基于n-gram卷积神经网络的MoRF预测
n-gram详细介绍
weixin_41797870的博客
10-21 3329
原文链接：斯坦福大学自然语言处理第四课“语言模型（Language Modeling） 一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程，由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课： https://class.coursera.org/nlp/ 以下是本课程的学习笔记，以课程PPT/PDF为主，其他参考资料为辅，融入个人拓展、注解，抛砖引玉，欢迎大家在“我爱公开课”上一起探讨学习。 课件汇总下载地址：斯坦福大学自然语言处理公开课课件
卷积神经网络（CNN）概述及其在NLP中的应用（一）
liuyuemaicha的专栏
12-18 1万+
原文链接： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 原标题《Understanding convolutional neural networks for nlp》卷积神经网络（CNN）概述及其在NLP中的应用（二）当我们听到CNNs时，我们一般会想到计算机视觉（comp
如何开发用于情感分析的N-gram多通道卷积神经网络-电影评论的情感分析代码实现
haosen
07-04 2834
用于文本分类和情感分析的标准深度学习模型使用单词嵌入层和一维卷积神经网络。可以通过使用多个并行卷积神经网络来扩展模型，该网络使用不同的内核大小读取源文档。实际上，这为文本创建了一个多通道卷积神经网络，用于读取具有不同n-gram大小（单词组）的文本。在本教程中，您将了解如何开发一个多通道卷积神经网络，用于文本电影评论数据的情绪预测。完成本教程后，您将了解：如何准备电影评论文本数据进行建模。如何在K...
卷积神经网络(CNN)在句子建模上的应用
MemRay
05-19 3万+
转载自：http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html 之前的博文已经介绍了CNN的基本原理，本文将大概总结一下最近CNN在NLP中的句子建模（或者句子表示）方面的应用情况，主要阅读了以下的文献： Kim Y. Convolutional neural networks for sentence classifi
第5章 卷积神经网络
qq_40940944的博客
11-12 1183
由于全连接前馈神经网络权重矩阵的参数非常多；自然图像中的物体都具有局部不变性特征（尺度缩放、平移、旋转等操作不影响其语义信息），而全连接前馈网络很难提取这些局部不变特征，如果直接利用全连接前馈神经网络进行训练参数巨大，计算量大。因此本文引入所以卷积神经网络来解决这些问题并对卷积神经网络的做一个比较细致的介绍。
MATLAB-构造一个用于分类的卷积神经网络
最新发布
04-22
节选自《基于MATLAB深度学习工具箱的实现与调试》，适合入门深度学习的小伙伴
基于卷积神经网络的RGB-D图片分类
01-13
针对基于卷积神经网络（CNNs）的物体分类问题，文中旨在探索一种最佳的输入组合，使得分类效果达到最佳。本文首先介绍了相关的RGB-D数据集，然后在该数据集中提取部分图片组成训练、验证和测试集。然后对这些选取的...
Python实现卷积神经网络LeNet-5和AlexNet训练与识别.zip
09-01
辅助：CUDA 10.2，用于进行 GPU 加速 使用 torch 的 nn.Module 类的派生，可以编写 LeNet5 的结构如下：其中调用 nn.Conv2d()函数进行卷积层设置，用 nn.Linear()函数进行全连接操作。在正向传导的过程中，规定了两...
基于改进的卷积神经网络LeNet-5乳腺疾病诊断方法
03-07
针对计算机辅助乳腺疾病诊断方法准确率低、耗时长等问题，提出一种基于改进的 卷积神经网络（CNN）的乳腺疾病诊断方法．该方法从以下3个方面做了改进：(1)设计双通道 卷积神经网络来解决单通道特征提取不充分的问题...
基于n-gram的文本分类
05-06
基础文档，曾被国际上多次引用。通过多反面对比了n-gram技术在文字引索中的应用。
卷积神经网络——输入层、卷积层、激活函数、池化层、全连接层
热门推荐
大丈夫
04-16 26万+
卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）卷积层用它来进行特征提取，如下： 输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野),这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以
卷积神经网络详解 - 卷积层逻辑篇
tjlakewalker的专栏
10-24 4万+
本系列文章为深度学习笔记，方便自己回看。 卷积计算概述 对于图像识别来说，卷积神经网络的效果要好于全连接神经网络。我在首次接触卷积时，隐约记得在大一高数课程中曾经提及，但具体已经无法名状。何谓卷积，知乎的这个回答，"如何通俗易懂地解释卷积" ，解释得很详细，摘出部分如下，以方便阅读。 "从数学上看，卷积是一种运算。我们称(f*g)(n)为f,g的卷积，其连续的定义为 其离散的定义为 ...
Pytorch模型(2)——N-gram CNN
某热心知名群众的博客
07-07 1003
概述 N-gram CNN在NLP中的应用主要是可以通过N-gram来捕捉局部语义信息，相比于加入了自注意力机制的模型而言，缺陷在于无法捕捉长距离的句子依赖，而且Transformer也可以并行去训练，我们可以将N-gram CNN+max pooling视为一种基于显著性注意力的语义Encoder Model class CNNEncoder(nn.Module): """ 卷积提取Encoder """ def __init__(self, in_channels, o
神经网络（五）卷积神经网络
就随便写写....
08-22 1587
卷积神经网络的原理及其应用
自然语言处理中的N-Gram模型详解
taoqick的专栏
04-25 1万+
N-Gram（有时也称为N元模子）是天然说话处置惩罚中一个很是主要的观点，平日在NLP中，人们基于必定的语料库，可以使用N-Gram来估计或者评估一个句子是否合理。别的一方面，N-Gram的别的一个感化是用来评估两个字符串之间的差别水平。这是隐约匹配中常用的一种手腕。本文将今后最先，进而向读者展现N-Gram在天然说话处置惩罚中的种种powerful的运用。 基于N-Gram模子界说的字符串
自然语言处理动手学Bert文本分类
05-30
Bert作为目前自然语言处理领域最流行的技术之一，文本分类作为自然语言处理领域最常见的任务之一，Pytorch作为目前最流程的深度学习框架之一，三者结合在一起将会产生什么样的花火，本套课程基于Pytorch最新1.4版本来实现利用Bert实现中文文本分类任务，延续动手学系列课程风格，全程手敲代码，跟着杨博一行一行代码撸起来。
论文《A convolutional neural network for modelling sentences》的学习笔记
Vincy_King
11-24 1008
论文原文及译文下载 算法实现 1. 引言 自然语言处理的基础问题在于句子的语义语法表示，其他特定任务如分类等都是在语义语法表示的基础上进行高层次的处理，因此，如何对句子进行表达就成为了核心的问题。 针对于当前存在的模型，本文提出了Dynamic Convolution Neural Network (DCNN)方法，利用宽卷积和k-max pooling采样，构造了一种类似parse tree解析树的结构，能够提取长距离的信息。 该模型在四个实验三个数据集上进行了测试，取得了不错的结果。 2. 模型 2.1
【译】把胶囊网络用到自然语言处理中会发生什么
weixin_30522095的博客
12-22 211
本文翻译自：博文What will happen when we apply CapsNet with dynamic routing to NLP? 　　本文要讲的是研究人员在应用CapsNet（胶囊网络）进行文本分类时发现了什么。我们需要了解下列的网络层次以及相应的算法。 N-gram卷积层 ​ 这一层是标准的卷积层，通过多个不同的卷积核在句子的不同位置提取N-gram特征。 主胶囊层（Pri...
构建基于深度卷积神经网络u-net和局部监督卷积神经网络ls-cnn的人脸表情识别模型
01-13
在ls-cnn中，可以在每个编码器和解码器的网络层之间引入子网络，用于局部特征的学习和融合。这样可以使模型更好地关注人脸表情的细微差别，提高识别的准确性和鲁棒性。 综上所述，构建基于深度卷积神经网络u-net和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值