说实话,卷积网络真的很明白了,但是反向传播是没有那么懂。
卷积,就是用卷积核收缩,它的作用一是用来提取特征,二是用来减少参数,池化呢,就是抗锯齿,其实也是为了减少参数,自己的话说呢,就是先来一次权值抗锯齿,然后来一次中心抗锯齿。就是如此。
神经网络,我称之为交叉方程组。SVM就是平行方程组。
平均(中心)抗锯齿必然是损失信息了的。第一个问题是卷积核用不用动态变化,二是如何透过卷积核求导?
关键是,池化层没有激活函数,言下之意是卷积层有激活函数,池化层损失信息,没办法就是没办法啊。
卷积参数,说实话,跟普通参数没什么两样,只不过按照它的前进方法求导就可以了。你必须知道前进公式是如何前进的。
在实际训练过程中,卷积核的值是在学习过程中学到的。每个卷积核可以看作一个图像模式,例如红绿蓝三种模式,如果一个图像用红卷积核卷出的特别大,那么它可能就是偏红。
下采样,downsample,反正就是这个意思了。
卷积层有激活函数吗?这个必须进行代码编写。