卷积神经网络(Convolutional neural networks)是什么
卷积神经网络(简称CNNs)就是一种深度的监督学习下的机器学习模型。卷积核(kernel)是什么?
卷积核就是算子就是权矩阵。卷积核:卷积时使用到的权用一个矩阵表示,该矩阵与使用的图像区域大小相同,其行、列都是奇数,是一个权矩阵。feature map是什么?
在每个卷积层,数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起,其中每一个称为一个feature map。在输入层,如果是灰度图片,那就只有一个feature map;如果是彩色图片,一般就是3个feature map(红绿蓝)。
层与层之间会有若干个卷积核(kernel),上一层和每个feature map跟每个卷积核做卷积,都会产生下一层的一个feature map。
请看盗图[3]:展示了一个3×3的卷积核在5×5的图像上做卷积的过程。
激活函数(activation function)是什么?
激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。
知乎 lee philip写得非常棒!梯度下降是什么?
梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一,虽然现在已经不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。
贡上神图!(来自)
链式求导法则是什么?
回忆一下高数课的内容。
对于ddx(f(g(x)))′=f′(g(x))⋅g′(x)令g(x)=z,则有dydx=dydz⋅dzdx反向传播(Back-propagation)是什么?
做个比喻:几个人站成一排,第一个人看一幅画(输入数据),描述给第二个人(隐层)……依此类推,到最后一个人(输出)的时候,画出来的画肯定不能看了(误差较大)。反向传播就是,把画拿给最后一个人看(求取误差),然后最后一个人就会告诉前面的人下次描述时需要注意哪里(权值修正)。目标函数最小化
让某个函数取最小值时,再求相应自变量的值。池化(pooling)是什么?
CNNs中的pooling主要目的是降维(聚合),也是CNN精髓所在。pooling同时也是为了保持某种不变性(旋转、平移、伸缩等),常用的有方法有:- mean-pooling
- max-pooling
- Stochastic-pooling
再盗个图[3],pooling的过程:
RIO(Region of Interest)是什么?
ROI是指图像中的一个矩形区域。
2016年1月10日更新
为什么需要偏置
对于y=∑wixi+b,考虑y=wx+b
那么打个比方,点A(1,1) 属于1类 点B(2,2)属于2类,请问是否能从原点画一条线把1类和2类分开分开。答案是不可以,所以需要偏置值b,这样线段就可以不从(0,0)点出发了。为什么要对输入数据要标准化
需要在统一的量纲上进行计算。举个例:A重10克,B重0.5吨,若要比较轻重不能10>0.5, 应当转换到同一量纲下比较。
参考文献
[1] 神经网络训练中的Tricks之高效BP
[2] 反向传播神经网络 BPNN
[3] 卷积神经网络
[4] 图像卷积与滤波的一些知识点