主流的监督学习算法
线性回归
- 机器学习 – >监督学习 – >回归 –> 线性回归
- 线性回归就是要预测 连续变量
- 线性关系不仅仅只能存在 2 个变量(二维平面)。3
个变量时(三维空间),线性关系就是一个平面,4 个变量时(四维空间),线性关系就是一个体。以此类推… - 如果 2 个或者多个变量之间存在“线性关系”,那么我们就可以通过历史数据,摸清变量之间的“套路”,建立一个有效的模型,来预测未来的变量结果。
模型评估
- 残差
- 损失函数
MAE(平均绝对错误)
表示平均数据集的绝对差值提取的原始值和预测值之间的差值。
Mean Squared Error (MSE)均方误差
平方之后单位变化了。所以就给他开平方,出现了均方根误差。
均方根误差
但是它们都存在一个相同的问题:当量纲不同时,难以衡量模型效果好坏。
R方值(R2_score)
R2_score = 1,达到最大值。即分子为 0,意味着样本中预测值和真实值完全相等,没有任何误差。也就是说我们建立的模型完美拟合了所有真实数据,是效果最好的模型,R2_score 值也达到了最大。但通常模型不会这么完美,总会有误差存在,当误差很小的时候,分子小于分母,模型会趋近 1,仍然是好的模型,随着误差越来越大,R2_score 也会离最大值 1 越来越远,直到出现第 2 中情况。
R2_score =0:
此时分子等于分母,样本的每项预测值都等于均值。也就是说我们辛苦训练出来的模型和前面说的均值模型完全一样,还不如不训练,直接让模型的预测值全去均值。当误差越来越大的时候就出现了第三种情况。
R2_score < 0:
分子大于分母,训练模型产生的误差比使用均值产生的还要大,也就是训练模型反而不如直接去均值效果好。出现这种情况,通常是模型本身不是线性关系的,而我们误使用了线性模型,导致误差很大。
学习资料
回归系数的估计
1.最小二乘
The line:
is called the regression line.
用最小二乘法对L(B1,B2)=0分别对B1,B0求偏导导,算出来的B1,B0能够使L均方误差取到最小,即得到了最优的函数。
2.梯度下降 gradient descent
资料
为什么梯度的方向就是最陡峭的方向呢?
https://www.jianshu.com/p/c7e642877b0e
步长:太大错过最低点
太小效率太低,找不到
那么这个梯度向量求出来有什么意义呢?他的意义从几何意义上讲,就是函数变化增加最快的地方。具体来说,对于函数f(x,y),在点(x0,y0),沿着梯度向量的方向就是(∂f/∂x0,
∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说,沿着梯度向量的方向,更加容易找到函数的最大值。反过来说,沿着梯度向量相反的方向,也就是 -(∂f/∂x0, ∂f/∂y0)T的方向,梯度减少最快,也就是更加容易找到函数的最小值。
梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解。当然,如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解。
算法:代数法、矩阵法
https://www.cnblogs.com/pinard/p/5970503.html
调优:步长、初始值、归一化。
置信区间
具体如何确定估计的范围(也就是置信区间)取决于你对预估结果准确概率的要求(也就是置信水平)。如果你希望结果准确的概率更高,那么区间的范围(置信区间)就设置的越宽;如果置信水平越低,置信区间就设置的越窄。
bootstrap for 抽样误差估计
从已有的样本中重复抽取,获得更多的样本,来求均值和标准差。
假设验证
P值是用来判定假设检验结果的一个参数,也可以根据不同的分布使用分布的拒绝域进行比较。由R·A·Fisher首先提出。 P值(P value)就是当原假设为真时,比所得到的样本观察结果更极端的结果出现的概率。
如果P值很小,说明原假设情况的发生的概率很小,而如果出现了,根据小概率原理,我们就有理由拒绝原假设,P值越小,我们拒绝原假设的理由越充分。总之,P值越小,表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。
p-value的作用:p-value就是用来判断H0假设是否成立的依据。因为期望值是基于H0假设得出的,如果观测值与期望值越一致,则说明检验现象与零假设越接近,则越没有理由拒绝零假设。如果观测值与期望值越偏离,说明零假设越站不住脚,则越有理由拒绝零假设,从而推出对立假设的成立。