来自一枚敢敢的深度学习日志——入门

deep learning

预测

分类

学习率

神经元

生物中的神经元会对在受到外界刺激后做出一定的反应，当然这种刺激是有程度限制的，只有当刺激强度超过一定范围才能使得神经元做出反应。

在建立机器学习或者深度学习的神经网络中，激活函数吸收了神经元的相关思想。即对输入值的进行判断，当输入值超过预先设定好的阈值时，激活函数产生输出

神经网络

使用矩阵乘法的三层神经网络

• 下述公式表达输入到中间层的组合调节信号，其中I为输入信号矩阵 ，W为权重矩阵。

$$X=W\cdot I$$

• 定义一个权重矩阵用以表示隐藏层和输出层之间的连接，定义如下：

$$W_{hidden\_output}$$

• 定义一个矩阵用以表示输入到隐藏层的组合调节输入值，定义如下：

$$X_{hidden}=W_{input\_hidden}\cdot I$$

• 定义一个矩阵用以表示中间隐藏层生出矩阵，由上述组合调节输入值通过激活函数sigmoid计算所得。
  $$O_{hidden}=sigmoid(X_{hidden})$$

• 定义一个矩阵用以表示第二层和第三层之间的连接权重，定义如下：

$$X_{output}=W_{hidden\_output}\cdot O_{hidden}$$

• 定义一个矩阵用以表示最终层的输出信号，定义如下：
  $$O_{output}=signmoid(X_{output})$$

学习来自多个节点的权重