线性回归是通过一个或者多个自变量与因变量之间的关系进行建模。
特点为一个或多个回归系数的模型参数的线性组合
一元线性回归:涉及到的变量只有一个
多元线性回归:涉及到的变量两个或两个以上
一、单变量/一元线性回归:
1.1监督学习算法工作的流程
h(hypothesis):假设函数,是一个从𝑥到 𝑦 的函数映射。
如:
其中θ是模型参数,x是输入变量/特征,y是输出/目标变量。
1.2代价函数/平方误差函数/平方误差代价函数
代价函数:
其中:𝑚是训练样本的数量
参数决定了模型所预测的值与训练集中真实值之间的差(建模误差modeling error)
目标:选择出可以使建模误差的平方和最小的模型参数。