神经网络

神经网络的正向&&反向传播

通过正向传播后得到的误差来进行反向传播，反向传播时通过求导的方式更新权值，获得误差更小的权重参数。

• 
  
• 具体讲解见：
  

http://www.cnblogs.com/charlotte77/p/5629865.html

神经网络的代价函数

相比逻辑回归的代价函数，这里增加了一个关于K的累加，K代表的是分类的数量。下标K的意思就是计算第k个分类的意思。

也就是说，我们需要求得的参数，应该对每一个分类计算代价函数，并使得加总(其实应该是乘总，不过在使用了最大似然函数来方便求解后，变为了加总，具体参考逻辑回归 )之后的结果最小

公式的右半部分是正则化项，是对每个theta的平方进行累计。
最右边的是每一层的每一行进行加总
中间的是每一层的每一列进行加总
最左边的是每一层的加总

参考：机器学习笔记018 | 神经网络的代价函数