机器学习第六周周报

摘要

本周继续上周学习的“深度学习新的优化器”，继续比较各种算法之间的优劣。接下来开启了对卷积神经网络的学习，以图片分类为例，逐步发现问题，然后简化问题，最终解决问题，从而引出CNN的步骤，最终发现CNN在图像识别领域的应用十分广泛。

Abstract

This week, we continue to learn the New Optimizers for Deep Learning, which we learned last week, and continue to compare the advantages and disadvantages of various algorithms. Then we open the learning of convolution neural network and take image classification as an example, gradually we find the problem, and then we simplify the problem, and finally we solve the problem, which leads to the steps of CNN, and finally we find that CNN is widely used in the field of image recognition.

一、New Optimizers for Deep Learning

1.Does Adam need warm-up?

2.RAdam vs SWATS

接下来我们来对比一下RAdam和SWATS

二、卷积神经网络——CNN

1.Image Classification

输入一张图片，经过model得到一个y，再将y进行softmax函数计算，得到y’，计算y’和y^的交叉熵，即可得到输入图片的种类

那么我们如何使用model来处理图片呢？
我们可以将图片拉直，分成三个维度，这样就可以看成是一个多维数组

但由于参数过多，增加了overfitting的风险

2.Observation 1

我们可以选择一些pattern作为输入，就像人类观察种类的方式 一样，通过选择一些关键点来确定图片的种类，这样就可以减少图片的信息

3.Simlplification 1

依据上面的观察，我们可以选择合适大小的receptive field，这样就可以降低其复杂度。
这里需要注意的是receptive field大小可以任意，也可以重叠，满足需求即可。

上述方法就是选定一个stride，然后移动特定步数，以求覆盖整张图片，超出的部分则padding，其中一种方法就是补0

4.Observation 2

我们发现同样是鸟嘴，有可能出现在不同的地方，那我们应该如何简化呢？

5.Simlplification 2

我们可以通过共享参数的方法来实现，相同的model计算不同的receptive field，得到的结果也会不同

6.Benefit of Convolutional Layer

Convolution里面有若干个filter，这些filter去图片里抓取pattern

假设channel为1

我们让每一个field与每一个filter相乘，得到一些数字，我们叫feature map

7.Observation 3

对一张图片进行缩小，不会改变他的类别

8.Pooling

我们将这些数字进行分组

在这些组中选择一个代表，在max pooling中选择那个最大的