走向深度学习:
作者想用将复杂问题简单化的思路,将神经网络的工作方法简单叙述一遍。接着引出了经典算法,反向传播算法。
反向传播算法
首先,纯英文(不翻译)...作者开始只是进行了符号的说明:
顺便也和上节课代码联系了一下,符号说明很容易理解。
损失函数的两个假设
第一个假设:
原文的排版让人不忍直视:(https://blog.csdn.net/csj941227/article/details/77150000,此为一名大佬的笔记....对比下来自己的真的是无语伦比的糟糕,所以此处建议跳转,膜拜大佬)
(其中代价函数的方程我一直疑惑,然后:https://blog.csdn.net/quiet_girl/article/details/68544273,懂了)
看懂了笔记,但是对于原文的假设,还是不太清楚。
第二个假设:
自我感觉,就是求解偏微分的需要,不是函数怎么行(不严谨)。
Hadamard成绩
其实就是点乘
反向传播背后的四个基本方程
反向传播其实是对权值和偏置变化 影响代价函数过程的理解。最终含义就是计算偏导。
(我是综合着书呵上面大佬博客看的,说实话,推导证明什么的不难,难得是想清楚这个过程在干什么。整个过程大致框架在干什么我看得懂,但是很多东西细想一下发现自己想不通,所以只能先暂时这样)