深度学习综述

一、归属

机器学习-神经网络-深度学习

因为我们拥有大量数据，还有很强的计算能力，可以用于深度学习模型。深度学习使域之间和上下文之间相互联系。率先应用到了语音识别，一直在努力提高百分点，降低字错误率超过30%。在计算机视觉领域用于分类。python进行调包，微积分和线性代数，概率论，损失函数，梯度下降，现代方法。tensorflow。

二、分类

感知机：最简单的人工神经网络，是一种二元线性分类器。神经细胞结构分为：树突、突触、细胞体和轴突，单个神经细胞可被视为一种只有两种状态的机器（是否激动）。神经细胞的转改取决于从其他神经细胞收到的输入信号量，及突触的强度。当信号量总和超过了某个阈值时，细胞体就会激动，产生电脉冲。电脉冲沿着轴突并通过突触传递给其他神经元。权重（突触）、偏置（阈值）及激活函数（细胞体）。

无监督学习深度网络：针对模式分析或合成任务，在没有目标类标签信息的情况下捕捉观测到的或可见数据的高阶相关性。

监督学习深度网络：直接提供用于模式分类的判别能力。描述了可见数据条件下的后验分布，也叫判别式深度网络。

混合深度网络：目标是判别式模型，但往往以生成式的结果作为重要辅助。

无监督深度网络：各种自编码器及其堆叠形式；深度玻耳兹曼机；和积网络SPN；RNN。

深度神经网络的训练：第一个如何让网络在训练集上有良好的表现，第二个如何在训练集表现良好的前提下，使其在测试集下也有同样的表现。

如何在训练集上调优：选择合适的损失函数/Mini-batch/选择新的激活函数/自适应学习速率/Momentum。

如何优化在测试集上的表现：增大训练集/提早停止/正则化/Dropout/Network Structure。

卷积神经网络CNN：卷积层/池化层

CNN用于图像识别

递归神经网络（RNN）：时间递归神经网络/结构递归神经网络/LSTM长短期记忆神经网络

RNN及其衍生算法可用于语音识别、自然语言处理、语音合成等

深度神经网络DNN

循环神经网络RNN：可以在时间序列上的变化进行建模

拟合：欠拟合/过拟合/最佳拟合

泛化性/损失函数/香农熵/标签/特征值/类别/分类和聚类

分类：类别

回归：值

生成：新的相似值

生成-注意力/分割/艺术风格

线性回归：

优化方法：梯度下降