深度学习笔记

神经网络是一种机器学习算法，模型如下。神经网络由输入层、隐藏层、输出层组成，当隐藏层的层数大于等于2时，叫做深层神经网络，使用深层神经网络算法进行机器学习就叫做深度学习。

 

感知器 perceptron。

神经网络是由神经元组成的，而激活函数为阶跃函数的神经元就是感知器。

感知器的运作流程是，将输入inputs乘以权重weights，然后相加，再经过激活函数step function，得到一个输出。通过对权重的设置，可以让激活函数代表任意线性函数。

 

梯度下降 Gradient Decent

梯度下降整体的逻辑就是，通过已知的输入值x和真实的输出值y，求出感知器最合适的参数w。那么如何定义最合适的参数w？我们认为通过感知器计算得到的输出值pred与真实的数值y最接近的时候，那么参数w的值就最合适。

基于以上，在数学里面，通过求导数的方式，我们可以知道通过让w每次加上delta_w的方式，可以让pred 与 y的值越来越接近。

目录

感知器 perceptron。

梯度下降 Gradient Decent

反向传播 Back Propagation

当上面的梯度下降算法，应用到神经网络时，就叫做反向传播算法。核心点就在于：不断的更新每一层的权重w

---