初识卷积神经网

1. 卷积神经网络（Convolutional neural networks）是什么
   卷积神经网络（简称CNNs）就是一种深度的监督学习下的机器学习模型。

2. 卷积核(kernel)是什么？
   卷积核就是算子就是权矩阵。卷积核：卷积时使用到的权用一个矩阵表示，该矩阵与使用的图像区域大小相同，其行、列都是奇数，是一个权矩阵。

3. feature map是什么？
   在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。
   层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。
   请看盗图[3]：展示了一个3×3的卷积核在5×5的图像上做卷积的过程。
   

4. 激活函数(activation function)是什么？
   激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。
   知乎 lee philip写得非常棒！

5. 梯度下降是什么？
   梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
   贡上神图!（来自）
   

6. 链式求导法则是什么？
   回忆一下高数课的内容。
   

   $$\begin{aligned} &对于\frac{d}{dx}(f(g(x)))'=f'(g(x))\cdot g'(x)\\ &令g(x)=z, 则有\frac{dy}{dx}=\frac{dy}{dz}\cdot\frac{dz}{dx} \end{aligned}$$

7. 反向传播(Back-propagation)是什么？
   做个比喻：几个人站成一排，第一个人看一幅画(输入数据)，描述给第二个人(隐层)……依此类推，到最后一个人(输出)的时候，画出来的画肯定不能看了(误差较大)。反向传播就是，把画拿给最后一个人看(求取误差)，然后最后一个人就会告诉前面的人下次描述时需要注意哪里(权值修正)。

8. 目标函数最小化
   让某个函数取最小值时，再求相应自变量的值。

9. 池化(pooling)是什么？
   CNNs中的pooling主要目的是降维（聚合），也是CNN精髓所在。pooling同时也是为了保持某种不变性（旋转、平移、伸缩等），常用的有方法有：

   • mean-pooling
   • max-pooling
   • Stochastic-pooling

   再盗个图[3]，pooling的过程：
   

10. RIO(Region of Interest)是什么？
    ROI是指图像中的一个矩形区域。

---

2016年1月10日更新

1. 为什么需要偏置
   

   $$\begin{aligned} 对于y=∑w_ix_i+b, 考虑y=wx+b \end{aligned}$$
   那么打个比方，点A(1,1) 属于1类 点B(2,2)属于2类，请问是否能从原点画一条线把1类和2类分开分开。答案是不可以，所以需要偏置值b，这样线段就可以不从(0,0)点出发了。

2. 为什么要对输入数据要标准化
   需要在统一的量纲上进行计算。举个例：A重10克，B重0.5吨，若要比较轻重不能10>0.5, 应当转换到同一量纲下比较。

---

参考文献

[1] 神经网络训练中的Tricks之高效BP
[2] 反向传播神经网络 BPNN
[3] 卷积神经网络
[4] 图像卷积与滤波的一些知识点