深度学习中的核心主题是
卷积神经网络(CNN)
和循环神经网络(RNN)
卷积神经网络
- CNN用于图像处理
卷积:
原始图像 5×5
滤波器 3×3
滤波器以步长大于小于1,到处平移,并与原始图像里的3×3做乘积运算,得到卷积特征/激活映射(activation map)。
卷积的优势:
1.全连接层代替固定尺寸,减少了神经元的数量
2.滤波器将上一层的像素汇总到下一层
3.反向传播过程中,只需根据反向传播误差更新滤波器权重,就可使效率提高 - 池化
将激活表示的维数减少
例如,将4×4的矩阵分解成4个2×2的矩阵,只保留最大值,缩减成2×2矩阵 - 填充
可以保持图片大小不发生改变或者使整个网络的大小处于可控状态
比如,零填充,添一圈0,3×3 => 5×5 - 特征图大小的计算
从卷积层到特征图的大小变化:
W是原始图像的宽度,F是滤波器的大小,P是填充大小,S是步长 CNN的应用
1.图像分类
2.人脸识别
3.场景标注
4.自然语言处理:将句子表示为向量,就可以使用CNN完成分类;CNN进行一维卷积时,宽度是常量,那么滤波器只需在广度上移动。循环神经网络
- 输入相互独立时,用CNN;前后依赖,不独立时,用RNN
- RNN原理公式:
- LSTM
长短型记忆网络,解决梯度消失和梯度爆炸问题
LSTM是一个人工神经网络,除常规网络单元外,还有LSTM模块。LSTM包含三个门,输入门、遗忘门、输出门。输入门用来确定何时输入足够重要的信息,遗忘门用来确定何时继续记住或忘记上一刻的信息,输出门则用来确定应该何时输出当前时刻的信息 RNN在NLP领域应用
1.语言模型:给一次词序列,预测下一个可能出现的单词
2.文本生成:根据作者的作品产生新文本
3.机器翻译:一种语言=>另一种语言
4.聊天机器人:与机器翻译类似,需要用双方问答来训练模型
5.生成图像描述:将RNN与CNN一起训练生成图像的标题或描述
转载于:https://www.cnblogs.com/peng8098/p/nlp_16.html