机器学习和神经网络学习中的一些体会

随着AI的快速崛起，学习AI的人越来越多，但发现好多人貌似学习了好久，但还是不太明白自己在学习什么，感觉AI很厉害但不知道究竟是在干些什么？

我们总结AI的本质，其实主要就是两大方面：一：我们首先要有一个目标函数，如：以均方差定义的目标函数（所谓的目标函数虽然衡量的标准表达式有很多，但其主要作用就是用来衡量预测值与真实值之间的差距，一般都是目标函数值越小越好）。

二：在不同的 学习模型中有不同的参数，我们可以这样来理解：假如给你一个函数，函数里面主要包含因变量和自变量，那么对于机器学习和神经网络来说因变量就是我们的预测结果（一般用y'来表示），那么自变量是什么？自变量就是各个模型中的参数，比如在神经网络中我们的参数主要参数就是w(权重)和b(偏置)，我们训练神经网络的实质就是训练w和b,使得当w和b取某一对值得时候可以保证我们定义得目标函数的值最小。至于训练方法我们就以一般常用的反向梯度传递算法为例。

所谓的梯度就是函数沿某一方向变化最快的方向（一般是函数增加的方向），那么就很容易理解反向梯度下降就是函数值减小最快的方向，我们希望我们的目标函数取得最小值（在给定的 可取得范围内），那么我们沿着目标函数下降最快的方向，自然就能更快速的求得目标函数的最小值。

在这里我们在对梯度下降算法中的三种不同类型进行简单的介绍：1.随机梯度下降：每次训练之用一个数据，训练过后对w和b进行更新，这种方法的随机性太大，有点是训练速度块。2.mini batch（批量梯度下降）假若我们现在有100个数据，我们没训练10个数据对w和b进行一次更新，优点：速度较块，相对于下面要提到的第3种方法而言，准确度相对较高，一般我们使用的都是这种方法，因为它在速度和准确性方面都达到一个相对较好的效果。3.完全随机梯度下降（名字记得不一定准确），假若我们有100个数据那么我们就每训练完100个数据更新一次，有点：充分考虑到了所有的数据，优化方向的指导性更可靠，缺点：训练速度慢，我们在这里只是以100个数据为例，可能有人会觉得100个数据也很快啊，但我们如果训练数据达到100000呢，甚至更多呢？