机器学习笔记_多元线性回归

目录

Ch1 多元线性回归

函数模型

函数形式
$$f(x)={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_p{x}_p$$
向量形式：

通常一个向量指的都是列向量，向量的转置是行向量
$$f(x)=\sum _{i=0}^p{\theta }_i{x}_i={\mathbf{\theta }}^{T}x=x^T\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_p\end{array}\right]\left[\left(x_0=1\right),x_1,x_2,\dots ,x_p\right]$$
损失函数：最小均方误差MSE：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^n{\left(x_i^T\theta -y_i\right)}^2$$
线性回归模型：求解损失函数的最小值
$${\theta }^{\ast }=argminJ(\theta )$$

加入数据后的模型

n组数据

预测值：
$$\hat{Y}=X\theta =\left[\begin{array}{l}{X}_1^T\theta \\ X_2^T\theta \\ \dots \\ X_n^T\theta \end{array}\right]=\left[\begin{array}{l}{X}_{11}{X}_{12}\dots X_{1p}\\ X_{21}{X}_{22}\dots X_{2p}\\ \dots \\ X_{n1}{X}_{n2}\dots X_{np}\end{array}\right]\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_p\end{array}\right]$$
实际值label (n组数据n个label)：
$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$

模型求解

梯度下降法

Gradient Decent
$$\theta :=\theta -\alpha {\nabla }_{\theta }J(\theta )$$

$$J(\theta )=\frac{1}{2}\sum _{i=1}^n{\left(x_i^T\theta -y_i\right)}^2$$

其中算子：梯度是偏导数的自然扩展
$${\nabla }_{\theta }J=\left[\begin{array}{l}\frac{\partial J}{\partial {\theta }_0}\\ \cdots \\ \cdots \\ \frac{\partial J}{\partial {\theta }_p}\end{array}\right]$$
求损失函数的偏导：
$$\begin{array}{l}\frac{\partial 1}{{\theta }_{j}2}{\left(x_i^T\theta -y_i\right)}^2\\ =\frac{\partial 1}{{\theta }_{j}2}{\left({\sum }_{j=0}^p{x}_{i,j}{\theta }_j-y_i\right)}^2{x}_i={\left(x_{i,0},\dots ,x_{i,p}\right)}^T\\ =\left({\sum }_{j=0}^p{x}_{i,j}{\theta }_j-y_i\right)\frac{\partial }{{\theta }_j}\left({\sum }_{j=0}^p{x}_{i,j}{\theta }_j-y_i\right)\\ =\left(f\left(x_i\right)-y_i\right)x_{i,j}\end{array}$$

正规方程法

$$\begin{array}{rl}J(\theta )& =\frac{1}{2}\Vert Y-X\theta {\Vert }^2\\ & =\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)\\ & =\frac{1}{2}\left({\theta }^T{X}^{T}X\theta -2Y^{T}X\theta +Y^{T}Y\right)\end{array}$$

注解：
$$\begin{array}{l}\frac{\partial {\mathbf{x}}^T\mathbf{B}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{B}+{\mathbf{B}}^T\right)\mathbf{x}\\ \frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathrm{x}}=\text{ a }\end{array}$$
我们令$B=X^{T}X,B^T=B⟹(B+B^B)\theta =2B\theta$
$$\begin{gathered} {\nabla }_{\theta }J(\theta )=\frac{\partial J(\theta )}{\partial \theta }=\frac{\frac{1}{2}\left({\theta }^T{X}^{T}X\theta -2Y^{T}X\theta +Y^{T}Y\right)}{\partial \theta }=X^{T}X\theta -{\left(Y^{T}X\right)}^T=X^{T}X\theta -X^{T}Y=0 \\ ⟹X^{T}X\theta =X^{T}Y{\theta }^{\ast }={\left(X^{T}X\right)}^{-1}{X}^T \\ ⟹{\theta }^{\ast }={\left(X^{T}X\right)}^{-1}{X}^{T}Y \end{gathered}$$

随机梯度下降法

Mini-batch GD

每次只 用训练集中的一个数据，把数据分为若干个批，按批来更新参 数。一个批中的一组数据共同决定了本次梯度的方向，下降起 来就不容易跑偏，减少了随机性。

一个bacth 形成一个epoch分批次训练

全局最优解

当$J(\theta )$是凸函数（凹函数和凸函数统称凸函数）时，二阶导数大于0,$X^{T}X$为半正定矩阵
$${\nabla }_{\theta }^{2}J(\theta )=X^{T}X$$
当训练样本的数目n大于训练样本的维度（p+1 个属性，特征）$X^{T}X$通常可逆，表明改矩阵事正定矩阵，求的参数是全局最优解。不可逆时，可以接出多个参数解。可使用 正则化给出一个“归纳偏好”解。

评估方法

留出法

随机挑选 一部分标 记数据作 为测试集 (空心点 )，其余的作 为训练集 (实心点 )，计算 回归模型，使用测试 集对模型 评估: MSE =2.4，测试集不能太大，也不 能太小。2 <= n:m <=4

交叉验证法

十折交叉验证，如将数据集分为10份，每次选一份作为测试集，其余作为训练集。

性能度量

线性回归模型：平方和误差

在测试集上报告 MSE(mean square error) 误差
$$J_{\text{train }}(\theta )=\frac{1}{2}\sum _{i=1}^n{\left({\mathbf{x}}_i^T\theta -y_i\right)}^2$$

$${\theta }^{\ast }=\mathrm{argmin}{J}_{\text{train }}(\theta )={\left(X_{\text{train }}^T{X}_{\text{train }}\right)}^{-1}{X}_{\text{train }}^T{\vec{y}}_{\text{train }}$$

$$J_{\text{test }}=\frac{1}{m}\sum _{i=n+1}^{n+m}{\left({\mathbf{x}}_i^T{\theta }^{\ast }-y_i\right)}^2=\frac{1}{m}\sum _{i=n+1}^{n+m}{\epsilon }_i^2$$

分类任务：错误率与精度

错误率是分类错误的样本数占样本总数的比例

精度是分类正确的样本数占样本总数的比例

对二分类问题：

查准率：$$P=\frac{TP}{TP+FP}$$

查全率：$R=\frac{TP}{TP+FN}$

F1: $$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{\text{ 样例总数 }+TP-TN}$$