- 线性回归的定义:线性而不是非线性,线性在表示元素关系在图像上表示为一条直线,非线性则不是直线;回归,多次的测量值通过方式计算,实现对真实值的逼近。
- 线性回归的方法:
- 通过任务构造相应的损失函数;
- 利用梯度下降法最小化损失函数,找到相模型相应的参数。
- 正则化项:解决模型的过拟合和欠拟合,一般有L1,L2正则化,L1,L2正则化项是施加在参数上,对模型的参数更新进行限制,L1正则化是对参数的绝对值进行限制,由此可能在最小化损失函数的额过程中,自身参数更新迭代后变为0的情况增多,导致L1输出稀疏的特性。L2正则化则是对参数平方再开根号,对比L1正则化,L2正则化计算更简单。L1正则化有一个优点,鲁棒性更强,对异常值不敏感,在面对高维数据,而且是一堆数据里面找出主要特征,L1为首选。ElasticNet回归:结合了L1和L2,损失函数上表现为先L2,再L1。
- 在用线性回归模型拟合数据之前,首先要求数据应符合或近似符合正态分布,否则得到的拟合函数不正确。
- 待补充。。。