Deep Learning（深度学习）基本概念

Deep Learning（深度学习）基本概念

1、网络基本结构

对于这个网络，输入的是向量，输出的也是向量


下一层的一个神经元的输入是上一层所有神经元的输出计算得到，即全部连接在与上一层所有神经元全部连接。输入数据为输入层，中间的为隐层，最后为输入层。
当有很多隐层时，就可视作由神经网络变为深度神经网络。

在神经元节点计算时，为了便于计算，将其写成矩阵与相乘的形式：

即先计算权重矩阵*输入矩阵+偏置矩阵，然后将得到的值带入激活函数（如sigmoid）得到该神经元节点的输出值。

最后抽象为一个函数：

输入x与输出y都是向量，以图片举例如下：

2、反向链式求导

先看一个最基本的只有一层一个神经元的计算：

再引申到两层

再通过反向传播求这两额偏导数