反向传播算法推导(交叉熵代价函数-吴恩达机器学习)
0. 前言第一次看吴恩达老师机器学习视频时, 在9.29.29.2节卡住。看到评论区别人解答(Arch725 的解答)发现有一些疏漏,而且缺少一些铺垫,所以进行了一些修改补充。本文的反向传播算法的推导过程根据的是交叉熵代价函数,并非二次代价函数。不同代价函数的求导结果不同所以结果略有差异,但本质都是相同的。交叉熵代价函数:J(Θ)=−1m∑i=1m(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))))J(\Theta) = -\frac{1}{m}\sum_{i=1
原创
2021-08-13 19:26:47 ·
4467 阅读 ·
29 评论