深度学习综述学习笔记

swordnews

已于 2024-07-31 10:53:39 修改

阅读量283

点赞数 5

文章标签：深度学习学习笔记

于 2024-07-30 14:53:53 首次发布

本文链接：https://blog.csdn.net/swordnews/article/details/140794738

版权

有待学习的知识

1、傅里叶变换；

2、卷积；

核心思想

深度学习算法的核心思想是:自底向上通过无监督数据逐层训练及非线性变换提取训练数据中的统计特征,从而实现其中内在模式的持续进化、建立起从底层信号到高层语义的映射关系,从而完成网络初始化;然后自顶向下通过监督学习进行优化迭代计算,完成网络的整体调优。

常见算法过程

下面以常见的贪婪逐层训练为例说明深度学习算法的过程:

1. 从输入层输入无标注的训练数据,训练出第一个隐层的网络参数,激活该参数作为第一个隐层的输出。

2. 用第一个隐层的输出作为第二个隐层的输入,同理训练出第二个隐层的输出。

重复该步骤,直到训练出所有隐层的输出。

3. 用最后隐层的输出作为输出层模型的输入,应用有标签的测试数据来训练该层的网络参数。

4. 整合所有隐层和输出层模型的网络参数作为一个整体(视为一个网络学习模型的参数),用该值对整个网络参数进行初始化。

5. 通过最优化理论迭代求解整个网络的代价函数,对全部网络参数进行微调,最终得到整个网络的优化参数,使用该参数可以进行后续的分类或预测等工作。

卷积神经网络的特征

卷积神经网络是一种前馈深度网络。

前馈神经网络是最初的人工神经网络模型之一. 在这种网络中,信息只沿一个方向流动,从输入单元通过一个或多个隐层到达输出单元,在网络中没有封闭环路. 典型的前馈神经网络有多层感知机[29-30]和卷积神经网络[32-33]等.

与前馈网络不同,反馈网络并不是对输入信号进行编码,而是通过解反卷积[30]或学习数据集的基[35,56],对输入信号进行反解. 前馈网络是对输入信号进行编码的过程,而反馈网络则是对输入信号解码的过程.

双向网络由多个编码器层和解码器层叠加形成,每层可能是单独的编码过程或解码过程,也可能同时包含编码过程和解码过程. 双向网络的结构结合了编码器和解码器2类单层网络结构,双向网络的学习则结合了前馈网络和反馈网络的训练方法, 通常包括单层网络的预训练和逐层反向迭代误差2个部分。

参考链接如下：

深度学习研究综述 (cnki.net)

卷积神经网络的特点在于,采用原始信号( 一般为图像) 直接作为网络的输入,避免了传统识别算法中复杂的特征提取和图像重建过程; 局部感受野方法获取的观测特征与平移、缩放和旋转无关. 卷积阶段利用权值共享结构减少了权值的数量进而降低了网络模型的复杂度,这一点在输入特征图是高分辨率图像时表现得更为明显. 同时,下采样阶段利用图像局部相关性的原理对特征图进行子抽样,在保留有用结构信息的同时有效地减少数据处理量.

下采样（subsampled）：又名降采样、缩小图像；

主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。