机器学习(3.线性模型二)

2.多元线性回归

2.1算法原理

多元线性回归考虑了样本有超过1维属性的特征，即某个样本$x_i$的属性向量为$(x_{i1};x_{i2};...;x_{id})$。

多元线性模型试图学得一个通过属性的线性组合来进行预测的函数：$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$

简化处理:

• 把$w$和$b$吸收入向量形式$\hat{\mathbf{w}}=(\mathbf{w},b)$
• 相应的，把数据集$\mathbb{D}$表示为一个$m\times d+1 $大小的矩阵$\boldsymbol{X}$，其中每行对应于一个示例，该行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即：

• 标签也写成向量形式：$\mathbf{y}=(y_1;y_2;...;y_m)$
  故,转化为 $\mathbf{y}=f({\hat{\mathbf{x}}}_{\mathbf{i}})=\hat{\mathbf{w}}{\hat{\mathbf{x}}}_{\mathbf{i}}$

2.2策略(构建loss function )

最小二乘法

将其进行向量化，则求解参数的loss function为：

向量化$E_{\hat{\mathbf{w}}}$

${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(E_{\hat{\mathbf{w}}})=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$

2.3求解参数

a.简要说明

b.详细推导

1.证明$E_{\hat{\mathbf{w}}}$为凸函数

矩阵微分证明可参考：

矩阵微分向量公式推导

2.凸函数求最值

同样利用求导的方法求解最值。