我理解的线性回归

一、烦人符号解析
1、回归首先是y为连续值
2、?^= ?(?) y加上三角表示预测的值
3、? 为训练样本数据（data），N为训练样本数目，R代表全体实数

二、回归任务—根据XX预测XX。
例如根据广告投放量预测产品销量

三、最简单的回归—线性回归
1、y=wx; 把w和x都看成是向量，w0是偏置bias，其他w是权重/回归系数
x去除第一个常数项1（就是和w0乘的那个家伙），剩下的个数就是特征维数
2、线性回归模型—一条线两边散落零星点
根据横轴坐标就能知道y的值，能跟真实的零星点对比
这样的直线可以有好几条，判断哪条好用—预测残差，说白了就是每个零星点向直线画线，
残差平方和—线段长度平方的总和，越小越好（最小也被称为最小二乘）
3、损失函数—用来度量真实值与预测值差多少
L2损失就是残差平和：二次函数处处可导，优化计算方便，但对噪声敏感（一平方就很大，占的比重也就很大）
L1损失就是绝对值和：在零处不可导（一点可导的含义就是：
在x=x0处两侧极限存在且相等，则称函数在x=x0处可导）
双L结合为Huber函数—预测残差y-y^即r小于等于某值时，用L2其余用L1，解决了0处不可导的问题
4、
过拟合—过于复杂的模型与训练数据拟合的好，与测试数据拟合的不好
欠拟合—简单的模型与训练数据和测试数据拟合的都不好
正则项的目的就是减弱过拟合
在L2损失函数中+L2正则项就是岭回归
L2正则项—权重平方和乘以?(正则参数或者叫超参数)
L1正则项—权重绝对值和乘以?
PS:对截距项不惩罚
?越大，回归系数越小，越不容易过拟合（9阶多项式，回归系数超大）
Lasso回归—L2损失+L1正则
弹性网络-–L2损失+（L1正则+L2正则）用p和1-p连接两个正则 0<=p<=1
5、目标函数也就是损失函数的最优解—
1）一阶导数为0—奇异值分解 (sigular value decomposition,SVD) 是一种正交矩阵分解法，使用SVD分解法的用途是解最小平方误差法
2）梯度下降法当样本数目?很大或者特征维数?很大时， SVD计算复杂度高，或者
机器的内存根本不够。
•可采用迭代求解：梯度下降法……（只能找到局部最小值）
点各维度导数组成的向量就是梯度，记为?或????
3）次梯度法—解决零处不可导的问题，但是它收敛慢，所以lasso推荐使用坐标轴下降法—沿坐标轴搜索最小值

6、评价模型好坏
Scikit-Learn中的score，Metric（评估预测误差）
从全体训练集中分出一部分不参与训练，用来校验，但这样是训练集减少，不好，用交叉验证解决—就是训练集分份，重复几次，每次不同的份做校验集