反向传播与神经网络初步

反向传播分为正向和反向两部分。正向计算损失函数，然后反向计算出每一部分的梯度（链式求导法则）。

链式求导法则是反向传播算法的理论基础。

雅可比矩阵是一个二维矩阵

雅可比仍然是特定大小的矩阵，但是却只是在对角线上有值。

 

神经网络初步：

其中所经过的MAX函数代表的是nolinearity or action function(激活方程)，激活方程的种类有很多种。

每一个单个的神经元都可以看作是一个线性的分类器。（sigmoid函数是常用的激活函数中的一种：1/（1+e^-x））

其他一些可供选择的非线性分类函数：

PPT中的每一个圆圈代表一个神经元。

神经网络做的就是使用隐藏层把输入值转换成可以使用线性分类器分类的形式，然后再使用后面的层作为线性分类器进行数据分类。

问最少需要几个神经元可以完成分类。答案是两个，为什么我不太懂(大概是每个神经元可以代表一条直线，然后由这些直线合围出边界来。）

如何防止过拟合：