本文详细介绍了线性回归模型，包括数据集和目标、模型定义、最小二乘法策略、正规方程法及梯度下降法求解模型参数。重点探讨了线性回归的数学推导和广义线性模型的概念。
学习过程主要顺着 周志华《机器学习》第三章线性模型 内容，本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。
0. 数据集和目标
训练集假设m个样本，每个样本n个特征/属性，每个样本包含一个标记y。
表示为：
D = [ X 1 ( 1 ) X 2 ( 1 ) . . . X n ( 1 ) y 1 X 1 ( 2 ) X 2 ( 2 ) . . . X n ( 2 ) y 2 . . . . . . . . . . . . . . . X 1 ( m ) X 2 ( m ) . . . X n ( m ) y m ] D=\begin{bmatrix} X^{(1)}_1& X^{(1)}_2& ...& X^{(1)}_n& y_1& \\ X^{(2)}_1& X^{(2)}_2& ...& X^{(2)}_n& y_2& \\ ...& ...& ...& ...& ...& \\ X^{(m)}_1& X^{(m)}_2& ...& X^{(m)}_n& y_m& \\ \end{bmatrix} D=⎣⎢⎢⎢⎡X1(1)X1(2)...X1(m)X2(1)X2(2)...X2(m)............Xn(1)Xn(2)...Xn(m)y1y2...ym⎦⎥⎥⎥⎤其中， X j ( i ) X^{(i)}_j Xj(i)代表第 i 个样本的第 j 个特征
模型的目标为：对于一个新的样本，给定特征 ( X 1 ( k ) , X 2 ( k ) , . . . , X n ( k ) ) (X^{(k)}_1, X^{(k)}_2, ... , X^{(k)}_n) (X1(k),X2(k),...,Xn(k))，可以给出它对应的 y k y_k y
最低0.47元/天 解锁文章
1583
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
