神经网络的正向&&反向传播
通过正向传播后得到的误差来进行反向传播,反向传播时通过求导的方式更新权值,获得误差更小的权重参数。
- 具体讲解见:
http://www.cnblogs.com/charlotte77/p/5629865.html
神经网络的代价函数
相比逻辑回归的代价函数,这里增加了一个关于K的累加,K代表的是分类的数量。下标K的意思就是计算第k个分类的意思。
也就是说,我们需要求得的参数,应该对每一个分类计算代价函数,并使得加总(其实应该是乘总,不过在使用了最大似然函数来方便求解后,变为了加总,具体参考逻辑回归 )之后的结果最小
公式的右半部分是正则化项,是对每个theta的平方进行累计。
最右边的是每一层的每一行进行加总
中间的是每一层的每一列进行加总
最左边的是每一层的加总