深度学习小结

• 局部极小值处理办法

1. 调节学习速率
2. 合理初始化权重，常用的：高斯分布初始化权重，均匀分布。。。。

• 浅层NN可以拟合任何函数，数据量巨大
• 深层可以用更少的数量更好的拟合，前提：空间中的元素可迭代而来
• 防止过拟合
  L2正则化
  dropout
  每个epoch之后shuffle训练数据
  设置early-stopping
  加batch normalization（标准化所有的sample的统计分布，降低batch内不同样本差异性）
• BN最大的优点允许网络使用较大学习速率进行训练加快训练速度（减少epoch次数）
• 为什么深层比浅层高效
  迭代组成的先验知识使得样本可帮助训练共用同底层的样本
• 卷积：
  对图像元素矩阵变换
  提取图像特征
  多种卷积核提取多种特征
  一个卷积核覆盖的原始图像面积称为感受野
  一次卷积提取局部特征，因此需要在此基础上继续做卷积
• 池化
  卷积计算得到的特征维度巨大，易过拟合，因此在图像局部特征做平滑处理（局部相关性原理）
• 全连接：softmax
• 卷积核矩阵中的元素值即参数
• cnn优点：
  sparse interaction稀疏交互
  parameter sharing参数共享
  equivalent representation 等价表示
• CNN/DNN区别
  dnn输入的是向量形式，未考虑平面结构信息
  cnn输出可以是tensor
• filter尺寸计算
  (input_size+2*padding_size-fiter_size)/stride+1
• RNN记忆功能
  递归效应
  上一时刻隐状态参与到当前状态的计算