【深度学习】第二章：全连接神经网络

1. 什么是全连接神经网络？

1. 全连接神经网络指：层内无连接，层之间全连接。可用一个有向无环图表示：
   
2. 抽象意义：

   1. 全连接神经网络的隐藏层可以看做是对样本的特征提取，即
      

      比如：两层神经网络举例
      

   2. 输出层可以看作是对提取的特征进行特征转换。比如做分类处理：
      
      其中，g(x) 用于：

      1. 二分类
         
      2. 多分类
         

2. 三要素

2.1 模型

全连接神经网络的层之间是全连接的，所以只需要确定网络的层数、各层的神经元和激活函数 就定义好了模型。

2.2 准则

2.3 算法

• 问：如何对结构风险求最小化？
• 答：采用随机梯度下降的方式求最优化。但是使用随机梯度下降的过程中求偏导不使用链式法则，而是使用反向传播算法求偏导，从而更新参数。

3. 反向传播算法

3.1 为什么要使用反向传播算法的随机梯度下降法求最优化？

• 问：为什么要使用反向传播算法？
  

  注意：上面的偏导是标量关于向量的偏导，计算时需要注意。
  

• 答：能够更快的对目标函数求最优化，从而更快的找到最优参数。

3.2 什么是反向传播算法？

3.3 如何使用反向传播算法的随机梯度下降法求最优化？

3.4 例题