主流的监督学习算法
线性回归
- 机器学习 – >监督学习 – >回归 –> 线性回归
- 线性回归就是要预测 连续变量
- 线性关系不仅仅只能存在 2 个变量（二维平面）。3
个变量时（三维空间），线性关系就是一个平面，4 个变量时（四维空间），线性关系就是一个体。以此类推… - 如果 2 个或者多个变量之间存在“线性关系”，那么我们就可以通过历史数据，摸清变量之间的“套路”，建立一个有效的模型，来预测未来的变量结果。
模型评估
- 残差
- 损失函数
MAE（平均绝对错误）
表示平均数据集的绝对差值提取的原始值和预测值之间的差值。
Mean Squared Error (MSE)均方误差
平方之后单位变化了。所以就给他开平方，出现了均方根误差。
均方根误差
但是它们都存在一个相同的问题：当量纲不同时，难以衡量模型效果好坏。
R方值（R2_score）
R2_score = 1，达到最大值。即分子为 0，意味着样本中预测值和真实值完全相等，没有任何误差。也就是说我们建立的模型完美拟合了所有真实数据，是效果最好的模型，R2_score 值也达到了最大。但通常模型不会这么完美，总会有误差存在，当误差很小的时候，分子小于分母，模型会趋近 1，仍然是好的模型，随着误差越来越大，R2_score 也会离最大值 1 越来越远，直到出现第 2 中情况。
R2_score =0：
此时分子等于分母，样本的每项预测值都等于均值。也就是说我们辛苦训练出来的模型和前面说的均值模型完全一样，还不如不训练，直接让模型的预测值全去均值。当误差越来越大的时候就出现了第三种情况。
R2_score < 0：
分子大于分母，训练模型产生的误差比使用均值产生的还要大，也就是训练模型反而不如直接去均值效果好。出现这种情况，通常是模型本身不是线性关系的，而我们误使用了线性模型，导致误差很大。
学习资料
回归系数的估计
1.最小二乘
The line:
is called the regression line.
用最小二乘法对L（B1,B2）=0分别对B1，B0求偏导导，算出来的B1,B0能够使L均方误差取到最小，即得到了最优的函数。
2.梯度下降 gradient descent
资料
为什么梯度的方向就是最陡峭的方向呢？
https://www.jianshu.com/p/c7e642877b0e
步长：太大错过最低点
太小效率太低，找不到
那么这个梯度向量求出来有什么意义呢？他的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x0,y0)，沿着梯度向量的方向就是(∂f/∂x0,
∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 -(∂f/∂x0, ∂f/∂y0)T的方向，梯度减少最快，也就是更加容易找到函数的最小值。
梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。
算法：代数法、矩阵法
https://www.cnblogs.com/pinard/p/5970503.html
调优：步长、初始值、归一化。
置信区间
具体如何确定估计的范围（也就是置信区间）取决于你对预估结果准确概率的要求（也就是置信水平）。如果你希望结果准确的概率更高，那么区间的范围（置信区间）就设置的越宽；如果置信水平越低，置信区间就设置的越窄。
bootstrap for 抽样误差估计
从已有的样本中重复抽取，获得更多的样本，来求均值和标准差。
假设验证
P值是用来判定假设检验结果的一个参数，也可以根据不同的分布使用分布的拒绝域进行比较。由R·A·Fisher首先提出。 P值（P value）就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率。
如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。
p-value的作用：p-value就是用来判断H0假设是否成立的依据。因为期望值是基于H0假设得出的，如果观测值与期望值越一致，则说明检验现象与零假设越接近，则越没有理由拒绝零假设。如果观测值与期望值越偏离，说明零假设越站不住脚，则越有理由拒绝零假设，从而推出对立假设的成立。
3811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
