参数共享 稀疏交互 等变表示_卷积神经网络（CNN）

[TOC]

卷积神经网络(CNN)

卷积的定义

卷积的数学定义连续形式 $ s(t)= \int x(a)w(t-a)da$, 记作$s(t)=(x\ast w)(t) $

离散形式 $ s(t)=\sum_a x(a)w(t-a)$

x通常叫做输入，w称为核函数，输出一般叫做特征映射。卷积有对称性质，即$ (x\ast w)(t) = (w\ast x)(t)$, 这个根据定义，然后对积分变量换元一下很容易证明。

神经网络中的卷积 这里的卷积其实就是一个矩阵，放到每一层的神经网络中就是网络中的部分权重。

Why CNN？

cnn与图像之间有几点相似性：

图像中的一些特征要比整个图像小很多，比如人的眼睛，鸟的嘴巴…,而卷积恰好能描述这种特点

一些特征在图像中我只关心它有没有出现，并不关心它出现在图像中的具体位置，比如人脸识别时人脸可能出现在左上角，也可能照片不太规范出现在了图像的中间，CNN中卷积矩阵作用在图像上时也有这种特点

下采样，也就是说，一张图像，你把它的分辨率适当的调低，并不影响人大致地分辨出图像的内容，而这一点在CNN中max-pooling很像。

CNN的一些特点稀疏交互: 相比于全连接神经网络，CNN每一层的权重要稀疏很多

参数共享: 每一层的参数都只有卷积矩阵

等变表示: 如果函数$f(x)$和$g(x)$满足$f(g(x))=g(f(x)),$ 我们就说$f$ 对 $g$ 具有等变性。

池化

池化函数使用