【转】CLDNN-将RNN与CNN结合使用 论文精读

最新推荐文章于 2022-07-09 12:09:57 发布
最新推荐文章于 2022-07-09 12:09:57 发布
阅读量3.2k 收藏 23
点赞数 2
分类专栏： 神经网络 文章标签： 深度学习 音频处理 CNN+LSTM+DNN

原文地址：https://zhuanlan.zhihu.com/p/41765656
CLDNN-将RNN与CNN结合使用 论文精读
Masonic
Masonic
16 人赞同了该文章
论文题目：

CONVOLUTIONAL, LONG SHORT-TERM MEMORY, FULLY CONNECTED DEEP NEURAL NETWORKS

论文作者：

Tara N. Sainath, Oriol Vinyals, Andrew Senior, Has¸im Sak

概论 ABSTRACT
本文的题目直译过来是 卷积-LSTM-全连接神经网络。英文缩写为CLDNN

即同时使用卷积(Convolution)结构，循环(Recurrent)结构，与全连接(Fully-Connected)结构构建神经网络模型，解决NLP中的一个课题：LVCSR(Large-Vocabulary-Continuous-Speech-Recognition)

看似是思想单纯的混合使用，但在接下来的正文当中，

我们会对这种新型CLDNN内部的结构与信息处理过程做一个更加详细的介绍。

论文使用的结构：

LSTM(Long-Short-Term-Memory) 结构擅长处理与时间相关的数据
CNN(Convolutional Neural Network) 将多个时间点的数据抽象提取特征，减少无效数据。
DNN(Deep-Neural-Network) 将输入数据中的特征映射至更离散的空间，即将输入的数据变成神经网络中的各种参数。

研究背景 INTRODUCTION
常用套话(最近在LVCSR课题上神经网络又发展出什么什么新结构啦，又怎么怎么吊打老旧的GMM-HMM模型啦，既然这些新结构这么厉害，我们干嘛不把他们混起来用呢…)

关键点I 使用CNN-LSTM的原因：
对于输入的特征 x_t ,时间信息的处理已经在LSTM结构完成，后续结构收到的是不含时间信息的输入数据。但是CNN同样有一定的处理时间信息的能力，而且CNN的这种抽象特征的能力比LSTM的要更高维。

既然LSTM的输出不含时间信息，我们在输入端下手，在LSTM层前放置一个CNN层。

CNN层抽取时间维度上隐含的信息，将更高质量，高浓度的feature传递给LSTM层。
在这里插入图片描述

改进的CNN-RNN结构(点击查看原图)
关键点II CNN-LSTM结构的灵感来源：
针对LVCSR这个课题，

目前比较先进的GMM-HMM模型加入了说话人自适应(SpeakerAdaptation)处理，

原理是在GMM-HMM结构前进行VTLN/声道长度归一化(vocal tract length normalization)

以及fMLLR/特征空间极大似然估计线性回归(feature-space maximum likelihood linear regression)。实验中已经证明这种结构非常有效

当然这些专有名词不需要去理解是什么意思，它们主要与连续语音识别这个学科有关，感兴趣的话可以自行搜索。

在这里插入图片描述
含VTLN/fMLLR处理的GMM/HMM(点击查看原图)
VTLN/fMLLR的作用是平整输入的语音数据，统一声道长度，去除无效的数据。

这启发了我们，因为CNN同样有抽象特征，去除多余数据，减小运算量的功能。

模型结构 MODEL STRUCTURE
在这里插入图片描述
CLDNN模型结构
输入数据
数据的基本单位为帧( x_t )，每帧都是一个含40维度的梅尔频谱，输入的数据是由多帧组合成的向量 [x_{t-l},…,x_{t+r}] ，其中最左侧一帧即第一帧计为l，最后一帧计为r。

卷积结构
模型使用的CNN层为[1]中所推荐的，共使用两层卷积层，第一层的卷积核为(9,9)，第二层的卷积核为(4,3)，两层卷积层中含1个池化核为3的池化层。

线性层
由于卷积结构的结果数据量过大(feature-mapsxtimexfrequency context)，我们使用[2]中提到的线性层将数据降维处理，将数据降维至每帧256个数据。

LSTM层
此处参考[3]使用了2层LSTM结构，每层含832个单元，另有一个含500个单元的Projection Layer作降维处理。time_step设为20，使用BPTT方法训练。

另外，我们将LSTM层的输入和输出数据错开了5帧，

这是因为在实验中发现，后续的DNN在知道了当前帧接下来几帧的信息时，能更好的预测当前帧信息。

举个例子，我们有1,2,3,4,5,6,7,8,9,10这样十帧数据，通常使用LSTM时，是用1,2,3,4,5来预测第6个位置的数字，但是这里我们用4,5,?,7,8来预测第6个位置的数字，相当于将数据错开了3帧。

实际上这是一个分析给定音频得出词语的课题，而不是预测问题，不存在训练好了模型，拿去使用时没有未来7,8这两帧的数据这种情况，最后两帧相对于音频的总长度可以忽略不计。

全连接层
使用了[4]中提供的方法，共两层全连接层，每层1024个神经元。

核心-多维度数据处理
原始数据与降维后的CNN输出同时输入至LSTM
CNN能够学习 [x_{t-l},x_t] 这个区间里的信息，并将其传递给LSTM层，我们称之为长期特征(Long-Term Feature)。

而LSTM层的参数time_step为20，即LSTM根据当前帧之前(20+l)帧分析得出当前帧的内容，是 [x_{t-20-l},x_t] 这个区间内的信息，算上错开的5帧，是 [x_{t-15-l},x_{t+5}] 这个区间里的信息。

我们称之为短期特征(Short-Term Feature)。

既然不需要CNN的处理，LSTM也能学习短期特征，在同一个模型中同时使用两种特征已经在[5]和[6]中研究过了，方法是：

把CNN的输出降维后与原始的 x_t 一并输入到LSTM当中，图中示意为连接输入和LSTM层的虚线(Short-Term_feature)。

注：这里的长短期跟LSTM(Long-Short-Term-Memory)里面自带的那两个长短期应该不是一个意思（？）

  1. LSTM输出与降维后的CNN输出同时输入至DNN

与1类似，这个想法首先由CV领域的学者提出[7]，本论文使用了[8]和[9]方法的改进版，极大地减少了参数。图中示意为线性层与全连接层间的虚线。

实验结果与结论 RESULTS AND CONCLUSION
在200小时的训练后，CLDNN比LSTM的相关性高4%，加入了多维度数据处理后，相关性又提高了1%。

在2000小时的训练后，CLDNN比LSTM的相关性高4-5%。

本篇论文提出的CLDNN模型在处理LVCSR Voice Search任务时，比传统的LSTM模型更加优秀，

CLDNN结合RNN与CNN优秀性能的同时，在保证精度的前提下，使用线性层大大减少了运算量。模型结构中的两条虚线，即混合原始数据与CNN/LSTM处理过的数据，能够最大限度地保留数据当中隐含的特征，在数据量较大，且与时间相关的任务中可以尝试使用CLDNN。

By Masonic@NAIS
关注NAIS学生AI联盟公众号，一起探索人工智能！
Make Ai Accessible to All
http://weixin.qq.com/r/ny7bwxLECE93rVag93uN (二维码自动识别)

参考 REFERRENCES

[1] T. N. Sainath, A. Mohamed, B. Kingsbury, and B. Ramabhadran,

“Deep Convolutional Neural Networks for LVCSR,” inProc. ICASSP, 2013.

[2] T. N. Sainath, V. Peddinti, B. Kingsbury, P. Fousek, D. Nahamoo,

and B. Ramabhadhran, “Deep Scattering Spectra with

Deep Neural Networks for LVCSR Tasks,” in Proc. Interspeech,

[3] H. Sak, A. Senior, and F. Beaufays, “Long Short-Term Memory

Recurrent Neural Network Architectures for Large Scale

Acoustic Modeling,” in Proc. Interspeech, 2014.

[4] A. Mohamed, G. Hinton, and G. Penn, “Understanding

how Deep Belief Networks Perform Acoustic Modelling,” in

ICASSP, 2012.

[5] P. Schwarz, P. Matejka, and J. Cernocky, “Hierarchical Structures

of Neural Networks for Phoneme Recognition,” in Proc.

ICASSP, 2006.

[6] F. Grezl and M. Karafat, “Semi-Supervised Bootstrapping Approach

for Neural Network Feature Extractor Training,” in

Proc. ASRU, 2013.

[7] P. Sermanet and Y. LeCun, “Traffic sign recognition with

multi-scale convolutional networks,” in Proc. IJCNN, 2011.

[8] T. N. Sainath, B. Kingsbury, A. Mohamed, G. Dahl, G. Saon,

H. Soltau, T. Beran, A. Aravkin, and B. Ramabhadran,

“Improvements to Deep Convolutional Neural Networks for

LVCSR,” in in Proc. ASRU, 2013

[9] H. Soltau, G. Saon, and T. N. Sainath, “Joint Training of

Convolutional and Non-Convolutional Neural Networks,” in

in Proc. ICASSP, 2014.

编辑于 2018-09-02

beMyselfeveryday
关注
  • 2
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习语音识别】CNN-LSTM-DNN：CLDNN-卷积，长短时记忆，完全连接的深层神经网络
梁瑛平的博客
03-16 7493
Convolutional, Long Short-Term Memory, fully connected Deep Neural Networks1. 论文地址：2. 摘要：3. 核心思想： 1. 论文地址： Convolutional, Long Short-Term Memory, fully connected Deep Neural Networks 发表年份：2015年 被引量：6...
CNN和RNN结合与对比，实例讲解
carrots
08-25 1552
（2）最终的输出模型是LSTM，训练过程的参数设定：梯度上限(gradient clipping)， 学习率调整(adaptivelearning)；CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。3.2. RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出；全连接层特征用来描述原图片，LSTM输入：word＋图片特征，输出下一word。（1）运用迁移学习，CNN特征，语句特征应用已有模型；
CLDNN 模型
暮木的博客
09-24 5157
前言 总结目前语音识别的发展现状，dnn、rnn/lstm和cnn算是语音识别中几个比较主流的方向。2012年，微软邓力和俞栋老师将前馈神经网络FFDNN（Feed Forward Deep Neural Network）引入到声学模型建模中，将FFDNN的输出层概率用于替换之前GMM-HMM中使用GMM计算的输出概率，引领了DNN-HMM混合系统的风潮。长短时记忆网络（LSTM，LongShort Term Memory）可以说是目前语音识别应用最广泛的一种结构，这种网络能够对语音的长时相关性进行建模，
深度学习在识别雷达信号调制类别中的应用
m0_46735338的博客
08-22 6726
相关博文：基于深度学习的雷达辐射源识别技术研究 基于扩张残差网络的雷达辐射源信号识别 1 Convolutional Neural Network-Based RadarJamming Signal Classification With Sufficientand Limited Samples （基于卷积神经网络的有限样本雷达干扰信号分类） 2020.4.27发表 主要贡献： 1D-CNN的雷达干扰信号分类模型； 解决样本不足的问题：改进的Siamese-CNN(S-CNN)雷达干扰信号； 12种雷达
2021-03-26
weixin_39433623的博客
03-26 636
** CNN一些算法与应用 ** 众所周知，CNN在影像识别方便特别强大，许多影像识别的模型都是以CNN的框架为基础去做延伸。CNN可以应用在场景分类、图像分类、目标检测、NLP等领域。 选用不同的卷积层滤波器进行卷积操作，可得到不同效果的图像，提取到图像的不同特征，比如，可以做到：边缘检测、锐化以及模糊操作。使用多的滤波器，可提取多的图像特征，进行不同的特征映射。最后，结合所有的特征图作为卷积层的最终输出。 距今为止，CNN在深度学习领域取得了巨大的成功。我的观点：这些成功，一是来自于更强大的硬件、更多的
结合CNN与RNN处理序列（Tensorflow）
qq_43842886的博客
02-18 2178
使用卷积神经网络处理序列一、可以使用卷积处理序列的原因二、一维卷积神经网络1、一维卷积层Conv1D:2、一维池化MaxPool1D：3、实现一维卷积神经网络 一、可以使用卷积处理序列的原因 前面提到过： 循环神经网络就是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。 LSTM,GRU,BRNN（双向循环神经网络）,都是为了将该词与周围的词相关联，而离得太远的词之间的
text-classification-cnn-rnn-master_RNN_CNN_
10-02
标题中的"RNN_CNN"表明这是一个结合循环神经网络（Recurrent Neural Network, RNN）与卷积神经网络（Convolutional Neural Network, CNN）的项目，用于中文文本分类。在描述中，我们得知该实现是用TensorFlow完成的...
人工智能-项目实践-意图识别-基于RNN、CNN、XGboost的问答系统意图识别模块.zip
12-14
在这个项目中，开发者使用了三种不同的机器学习模型：循环神经网络（RNN）、卷积神经网络（CNN）以及XGBoost，来构建一个高效的问答系统意图识别模块。 首先，让我们深入了解一下循环神经网络（RNN）。RNN是一种...
Python-使用RNN和CNN实现微博分类
08-11
在IT领域，特别是机器学习和自然语言处理（NLP）方向，使用循环神经网络（RNN）和卷积神经网络（CNN）进行文本分类是一种常见的技术。本项目"Python-使用RNN和CNN实现微博分类"是针对社交媒体数据，如微博，进行情感...
人工智能-项目实践-文本分类-CNN-RNN中文文本分类，基于TensorFlow
05-12
人工智能-项目实践-文本分类-CNN-RNN中文文本分类，基于TensorFlow 使用卷积神经网络以及循环神经网络进行中文文本分类 ...文中所使用的Conv1D与论文中有些不同，详细参考官方文档：tf.nn.conv1d
人工智能-问答系统-意图识别-基于RNN、CNN、XGboost的问答系统意图识别模块
最新发布
07-09
基于RNN、CNN、XGboost的问答系统意图识别模块
深度学习在语音识别中的声学模型以及语言模型的应用
weixin_33971205的博客
08-03 1180
过去 3 年，深度学习在各个领域取得较大突破，比如计算机视觉领域的物体识别、场景分类，语音分析等，并且其技术推广和应用的速度超过人们预期,比如 Google 的广告系统已经开始使用深度学习盈利，Twitter 也通过深度学习改善App 图片及视频内容服务体验。那具体何为深度学习呢？深度学习是怎么应用在上述的各个领域呢，下面结合自身在语音...
一文读懂 CNN、DNN、RNN 内部网络结构区别
kebu12345678的博客
02-06 7231
http://network.chinabyte.com/269/13936269.shtml 一文读懂 CNN、DNN、RNN 内部网络结构区别 2016-10-24 16:07:00 作者：36大数据 分类 : 比特网 从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神
当语音识别搭配AI之后，我的语音助手更懂我的心了
weixin_34353714的博客
10-23 182
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由腾讯云AI中心发表于云+社区专栏 我今天演讲主要分四个部分，第一个是分享语音识别概述，然后是深度神经网络的基础；接下来就是深度学习在语音识别声学模型上面的应用，最后要分享的是语音识别难点以及未来的发展方向。 首先简单介绍一下语音识别，它主要是个怎么样的过程呢？语音识别...
CUDNN、CUDA和OpenCL的区别
weixin_40795591的博客
07-12 8623
一、CPU和GPU的区别CPU (Central Processing Unit) 即中央处理器GPU (Graphics Processing Unit) 即图形处理器GPGPU全称General Purpose GPU，即通用计算图形处理器。其中第一个“GP”通用目的（GeneralPurpose）而第二个“GP”则表示图形处理（GraphicProcess）CPU虽然有多核，但总数没有超过两...
阅读论文——A cnn-rnn framework for crop yield prediction
DJDLJRCJ的博客
07-09 799
论文阅读
端到端语音识别系统
Inger_H的博客
10-11 9088
本文主要观点来自于 google论文。 Towards End-to-EndSpeech RecognitionUsing Deep Neural Networks。 问题背景： 传统语音识别系统需要经过提特征,声学建模（state-phoneme-triphone），语言建模系列过程，其中声学建模需要对上下文相关的音素模型进行状态聚类，对每一帧特征需要做对齐。 端到端系统主要提出了下面的
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值