全连接层与 softmax

全连接层

一维

一般常见的是这种一维的全连接层，下面这种图就很常见。全连接层，通俗的说就是前面一层的每个单元都与后面一层的相连接。如下图的绿色 Hidden 层，Hidden 层的每个单元都与 Input 层的所有单元相连接，同理 Output 层的与 Hidden 层的也是如此。

(1*3)*(3*4)=(1*4)

(1*4)*(4*2)=(1*2)

即 Input 到 Hidden 这个全连接层中间的参数矩阵是 (3,4) 维的，Hidden 到 Output 的参数矩阵是 (4,2) 为的

---

二维

二维的图主要是这样的，左边的 v 层是 (4, 2) 的矩阵，通过全连接层，得到一个四维的向量，看中间的 H 层也是每个单元都与前面 v层的八个单元都相连的。他们中间的参数矩阵应该是(2, 1) 的。

---

softmax

softmax 可以理解为归一化，如目前图片分类有一百种，那经过 softmax 层的输出就是一个一百维的向量。向量中的第一个值就是当前图片属于第一类的概率值，向量中的第二个值就是当前图片属于第二类的概率值…这一百维的向量之和为1.

softmax的输入层和输出层的维度是一样的，如果不一眼，就在输入至 softmax 层之前通过一层全连接层。

softmax 的公式如下：

$$y(x_i) = \frac{exp(x_i)}{\sum_{i=1}^{M}(exp(x_i))}$$