机器学习(10)--线性回归（正规方程/梯度下降/岭回归/欠拟合过拟合）

线性模型

试图学得一个通过属性的线性组合来进行预测的函数：

线性回归

定义：

线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合，是迭代的算法

迭代体现在三个方面：

 【优化是寻找最优的w】

一元线性回归：涉及到的变量只有一个

多元线性回归：涉及到的变量两个或两个以上

多项式回归：尽管独立特征变量只有一个，但包含x^2,x^3这种特征变量的次方项的线性回归叫做多项式回归

【注意区分线性模型和非线性模型，线性回归是特征和w都是一次方的一元线性回归多元线性回归，或w是一次方，但有些特征x大于一次方多项式回归；非线性模型：w和变量不是线性关系，像是w有大于一次方的情况，y = e^(wx) 或 y = 1/(wx + 1)】

【本文的线性回归都是线性模型，模型会学习变量间的关系是更适合一元，多元还是多项式回归，多项式过于复杂的模型容易造成过拟合】

图示说明：

 一元线性回归，单变量：
 

 

 多元线性回归，多变量：

多项式回归，高次变量：

线性关系定义：

y = kx + b

y = k1x1 + k2x2......+knxn + b

数组和矩阵：

矩阵是为了满足特定的计算需求 【像是神经网络中常涉及】，在线性回归中，因为每个样本都要计算，遍历不如矩阵方便

数组运算：

 

矩阵运算：

损失函数(误差大小)