2021-07 李宏毅机器学习打卡Task06：卷积神经网络CNN

Task06 卷积神经网络(CNN)

学习地址

• 李宏毅机器学习B站视频地址
• new: 2021春课程视频地址
• 李宏毅机器学习开源笔记地址
• 论坛版块

最流行的神经网络架构—CNN

如何用FullyConnectedNetwork分类image

• 全连接网络的问题
  • 将输入image转为3-D的Tensor，再flatten，送进全连接网络
  • 存在的问题：参数量太多，容易过拟合
  • 图像处理里，用全连接提取特征并不好用
  • 考虑图像本身的特性，每个neuron为了提取某种特征，并不需要通过整张图片，只关心一小部分即可(局部特征) —> 引申出卷积连接
  • 同一特征可能出现在图片的不同位置 —> 引申出权重共享
  • 卷积连接 + 权重共享 —> 使得参数量大为减少
    

构建ConvolutionalNeuralNetwork分类image

• 简化1：卷积连接取代全连接

  • Receptive field：感受野
  • 每个neuron只关心一片感受野，并非考虑所有输入
  • 不同neuron也可以关心同一片感受野(输出多个通道)
  • 感受野也可以定制，比如矩形
  • 一般图片处理里，kernel size 设置为 3x3，stride 设置为1或2
  • 如果Receptive field超出imgae外面了，可以通过padding解决
    
    

• 简化2：权值共享(Parameter sharing)

  • 因为同一 pattern 可能出现在不同的区域，所以我们可以让不同的receptive field 的 neuron 共享卷积核参数
  • 注意：同一 receptive field 的 不同 neuron 不会共享参数
  • 输出的 feature map 的个数取决于 filter 的个数即通道数
  • 权值共享其实就是将卷积核依次扫过整张输入image，这其实就是 convolution，也就是卷积层名字的原因
    
    

• 简化3：Pooling

  • 原因：将pixels 进行下采样不会改变图片的object
  • pooling 比较像 activate function，没有参数需要学习，只是一个 operator
  • 常见的版本有 Max Pooling 和 Average Pooling，常见的尺寸 2x2，3x3
    
    
    

• 卷积层的益处

  • 通过限制网络的弹性，降低 overfitting
    

whole CNN

• 卷积层 + 池化层 (交替连接) + flatten + fully connected + softmax
• 也可以不用池化层
  

CNN局限

• 不能处理scaling和rotation
• 考虑spatial transformer layer
  

另附Datawhale组队学习—李宏毅机器学习任务安排