神经网络是在传统多项式回归的基础上,受到了生物神经网络”激活“现象的启发,引入了激活函数而构建起来的机器学习模型。
在图像处理领域,由于图像的数据量非常大,伴随着产生的问题是网络参数量非常大,而卷积神经网络引入卷积核巧妙地优化了这个问题。卷积核对图像进行局部扫描,提取其中的特征。对于小卷积核无法获取全局特征的问题,通过增加网络层数,前面多层小卷积核的感受野逐渐叠加后,后面小卷积核的感受野也会逐渐扩大。而且随着网络层数的增加,每次完成卷积后都会引入ReLU激活函数,对模型引入了更多的非线性,增强了网络的拟合能力。
卷积
关于卷积的含义,有很多种解释。知乎上最经典的解释:
降维打击
卷积就是把二元函数 U(x,y) = f(x)g(y) 卷成一元函数 V(t) 嘛,俗称降维打击。
1)怎么卷?
考虑到函数 f 和 g 应该地位平等,或者说变量 x 和 y 应该地位平等,一种可取的办法就是沿直线 x+y = t 卷起来:
2)卷了有什么用?
可以用来做多位数乘法呀,比如:
注意第二个等号右边每个括号里的系数构成的序列 (14,34,14,4),实际上就是序列 (2,4) 和 (7,3,1) 的卷积。
这里的“乘法转加法”的运算还可以有更加直观的一个解释:
左图序列保持不动,右图序列顺序反转然后开始旋转,每旋转一次两序列重合位置相乘求和,得到循环卷积序列。拿刚才的卷积为例,
(不知道为什么此处想到了机械计算器,不知道会不会是类似的原理。)
信号卷积的通俗理解
有了刚才的认识,就可以从非时变系统的角度去理解卷积,以离散信号为例,连续信号同理。
已知x[0]=a, x[1]=b, x[2]=c