Datawhale x 李宏毅苹果书AI夏令营《深度学习》task1

机器学习：

让机器具备有学习的能力。具体来讲，机器学习就是让机器具备找一个函数的能力。我的理解是，让机器在学习分析数据中，找到一个通用的模板。

模型分类：

回归：

假设要找的函数的输出是一个数值，一个标量（scalar），这种机器学习的任务称为回归。一般来说，回归模型不带标记。

分类：

分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。所以，分类模型都是系统带有标记。

机器学习找函数的过程：

1.写出一个带有未知参数的函数 f，

如f=wx+b    w为权重，b为偏置，x的值为特征 

（带有未知的参数的函数称为模型。）

2.模型+画图

2.1 定义损失（loss），损失函数即L(b, w)。      L（偏置，权重）

损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。

真实的值称为标签（label）

平均绝对误差：e=绝对值（y-Y)

均方误差：e=（y-Y）^2

L=e总和/n

交叉熵：是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距

2.2  我们可以为不同的 w 跟 b 的组合，都去计算它的损失，就可以画出等高线图，就是试了不同的参数，计算它的损失，画出来的等高线图称为误差表面。

3. 解一个最优化的问题   

梯度下降（gradient descent）是经常会使用优化的方法。

第一件事情是这个地方的斜率，斜率大步伐就跨大一点，斜率小步伐就跨小一点。 另外，学习率η 也会影响步伐大小。学习率是自己设定的，如果 η 设大一点，每次参数更新就会量大，学习可能就比较快。如果 η 设小一点，参数更新就很慢，每次只会改变一点点参数的数值。这种在做机器学习，需要自己设定，不是机器自己找出来的，称为超参数。

梯度下降有一个很大的问题，没有找到真正最好的解，没有找到可以让损失最小的 w。在图 1.4 所示的例子里面，把 w 设定在最右侧红点附近这个地方可以让损失最小。但如果在梯度下降中，w0 是随机初始的位置，也很有可能走到 wT 这里，训练就停住了，无法再移动 w 的位置。右侧红点这个位置是真的可以让损失最小的地方，称为全局最小值（global minima），而 wT 这个地方称为局部最小值（local minima），其左右两边都比这个地方的损失还要高一点，但是它不是整个误差表面上面的最低点。

所以常常可能会听到有人讲到梯度下降不是个好方法，这个方法会有局部最小值的问题，无法真的找到全局最小值。事实上局部最小值是一个假问题，在做梯度下降的时候，真正面对的难题不是局部最小值。有两个参数的情况下使用梯度下降，其实跟刚才一个参数没有什么不同。如果一个参数没有问题的话，可以很快的推广到两个参数。