CNN上BP的简单推导
CNN推导没有完全弄很清楚,主要是下标太多维度太高,而且不同层使用的函数选择比较多样。只是差不多推了一下。
无论是NN还是CNN反向传播,关键是计算 δl ,它的传播是主线,其他参数都可以依附于主线计算出来。
δl+1到δl 的传播主要利用链式法则,应用链式法则的时候不要漏掉任何一个关联的变量。如果网络比较复杂,sigma可能会很多层,在网络情况比较多的时候要分类讨论。
在卷积运算中求导数学技巧相对较高。
CNN上BP的简单推导
CNN推导没有完全弄很清楚,主要是下标太多维度太高,而且不同层使用的函数选择比较多样。只是差不多推了一下。
无论是NN还是CNN反向传播,关键是计算 δl ,它的传播是主线,其他参数都可以依附于主线计算出来。
δl+1到δl 的传播主要利用链式法则,应用链式法则的时候不要漏掉任何一个关联的变量。如果网络比较复杂,sigma可能会很多层,在网络情况比较多的时候要分类讨论。
在卷积运算中求导数学技巧相对较高。