Day 3 CNN进阶之旅

一、CNN基础知识

- 激活函数：

激活函数并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。常用sigmod tanh relu
- ① sigmod和tanh需要对数据进行归一化 否则大部分数据可能会落入平坦区间而relu不需要，relu = max(x,0) 最终形成包含0元素的稀疏矩阵；tanh特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果显示出来；在特征相差比较复杂或是相差不是特别大时，需要更细微的分类判断的时候，sigmoid效果较好
- ②relu
有效性：克服梯度消失 加快训练速度（max(x,0)）
- ③RReLU:
f(x) = alpha * x for x < 0, f(x) = x for x>=0，此处的alpha为一个与xshape相同的可学习的参数向量
- ④ELU:指数线性单元
f(x) = alpha * (exp(x) - 1.) for x < 0, f(x) = x for x>=0 alpha控制负因子参数
⑤ThresholdedReLU：门限relu
f(x) = x for x > theta,f(x) = 0 otherwise

- 优化器(optimizers)：

• ①SGD：随机梯度下降法
  参数：
  lr：大于0的浮点数，学习率
  momentum：大于0的浮点数，动量参数
  decay：大于0的浮点数，每次更新后的学习率衰减值
  nesterov：布尔值，确定是否使用Nesterov动量
• ②RMSprop：优化器通常是面对递归神经网络时的一个良好选择
  参数：
  lr：大于0的浮点数，学习率
  rho：大于0的浮点数
  epsilon：大于0的小浮点数，防止除0错误

- 卷基层

• 一维卷积层:用以在一维输入信号上进行邻域滤波。当使用该层作为首层时，需要提供关键字参数input_shape。
  例如(10,128)代表一个长为10的序列，序列中每个信号为128向量。而(None, 128)代表变长的128维向量序列。

• 二维卷积层:该层对二维输入进行滑动窗卷积，当使用该层作为第一层时，应提供input_shape参数。
  例如input_shape = (128,128,3)代表128*128的彩色RGB图像（data_format=’channels_last’）