两大任务
回归:求一个理想的预测函数
分类:某函数的输出值为分立的类别
机器学习找函数的过程的 3 个步骤:
机器学习的第一个步骤:写出一个带有未知参数的函数 f,其能预测未来观看次数
比如将函数写成
带有未知的参数(parameter)的函数
w权重 与输入量相乘的值(weight)
b偏置 在原有输出量上增减的值(bias)
机器学习的第二个步骤:定义损失(loss)
损失也是一个函数。这个函数的输入是模型里面的参数,模型是 y = b + w ∗ x1,而 b 跟 w 是未知的,损失是函数 L(b, w),其输入是模型参数 b 跟w。
举例:举个例子,从 2017 年 1 月 1 日到 2020 年 12 月 31 日的观看次数(此处的数字是随意生成的)如图 1.1 所示,接下来就可以计算损失。
![](https://i-blog.csdnimg.cn/direct/b2001da1c43e4f228c4f952918d092fb.png)
把 2017 年 1 月 1 日的观看次数带入函数中可得
当b = 500,w = 1 的时候,x1 代入 4800,预测隔天实际上的观看次数结果为 yˆ = 5300,真正的结果是 4900,真实的值称为标签(label),它高估了这个频道可能的点击次数,可以计算一下估测的值 yˆ 跟真实值 y 的差距 e。
这里取绝对值差距来作为损失计算的标准
e = |y − yˆ|
带入三年来的每一天的预测值和标签数,可以得到每一天的误差。
接下来把每一天的误差,通通加起来取得平均,得到损失L
![](https://i-blog.csdnimg.cn/direct/97378eb1dc9b4f83b80d1e7cb85f6511.png)
误差的一般类型:
平均绝对误差:预测值与理论值之差的绝对值之平均数
均方误差:预测值与理论值之差的平方之平均数
交叉熵:概率分布数据使用的误差衡量标准
误差表面:以损失为值衡量的等高线
![](https://i-blog.csdnimg.cn/direct/17d2f804cbfb4c498eb9b0acc79da35d.png)
机器学习的第三步:解一个最优化的问题
找一个 w 跟 b,把未知的参数找一个数值出来,看代哪一个数值进去可以让损失 L 的值最小,就是要找的 w 跟 b,这个可以让损失最小的 w 跟 b 称为 w∗ 跟 b∗ 代表它们是最好的一组 w 跟 b,可以让损失的值最小。
梯度下降——最优化算法的一种
重要数学原理:偏导数
学习率:一个决定模型参数更新与收敛情况的超参数
弊端:可能只找到局部最小值而非全局最小值
![](https://i-blog.csdnimg.cn/direct/f49c61a430bd41fdb0c33a3b3178420f.png)
重要公式
而对于更多参数的梯度下降算法也是同理,换成偏导数而已