学习过程主要顺着 周志华《机器学习》第三章线性模型 内容,本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。
0. 数据集和目标
训练集假设m个样本,每个样本n个特征/属性,每个样本包含一个标记y。
表示为:
D = [ X 1 ( 1 ) X 2 ( 1 ) . . . X n ( 1 ) y 1 X 1 ( 2 ) X 2 ( 2 ) . . . X n ( 2 ) y 2 . . . . . . . . . . . . . . . X 1 ( m ) X 2 ( m ) . . . X n ( m ) y m ] D=\begin{bmatrix} X^{(1)}_1& X^{(1)}_2& ...& X^{(1)}_n& y_1& \\ X^{(2)}_1& X^{(2)}_2& ...& X^{(2)}_n& y_2& \\ ...& ...& ...& ...& ...& \\ X^{(m)}_1& X^{(m)}_2& ...& X^{(m)}_n& y_m& \\ \end{bmatrix} D=⎣⎢⎢⎢⎡X1(1)X1(2)...X1(m)X2(1)X2(2)...X2(m)............Xn(1)Xn(2)...Xn(m)y1y2...ym⎦⎥⎥⎥⎤其中, X j ( i ) X^{(i)}_j Xj(i)代表第 i 个样本的第 j 个特征
模型的目标为:对于一个新的样本,给定特征 ( X 1 ( k ) , X 2 ( k ) , . . . , X n ( k ) ) (X^{(k)}_1, X^{(k)}_2, ... , X^{(k)}_n) (X1(k),X2(k),...,Xn(k)),可以给出它对应的 y k y_k y