机器学习(3.线性模型一)

三.线性模型

1.一元线性回归

1.1算法原理

例子：利用【发际线的高度】等特征预测【计算机水平】

根据经验/数据形态,分析数据发现是线性关系, 即$f(x)=w{x}_i+b$

Q:怎么找出这条直线?-----即如何确定w和b呢？显然，关键在于如何衡量f(x)与y之间的差别(即假设与真值之间的差别)

A:找拟合最好的直线(即所有点到该直线距离最短对应得那条直线)----------均方误差$E_{(w,b)}=\frac{1}{m} \sum_{i=1}^{m}{(y_i - f(x_i))^2} $最小(可以省略$\frac{1}{m} $)

• 线性回归:指点到直线平行y轴的距离(即纵坐标差值)
• 正交回归:指点到直线的垂直距离(即垂线段的长度)

一元线性模型试图学得一个通过属性的线性组合来进行预测的函数：$f(x)=w{x}_i+b$

其目标就是通过观测样本利用某一种策略（常见的如最小二乘法、最大似然法）学习$w$和$b$。从而根据未知标签或预测量的新样本对应的特征，带入$w$和$b$，得预测结果。

对应到机器学习三要素中分别为：

1. 模型：线性回归模型，$f(x)=wx+b$
2. 策略：常见如利用最小二乘法或最大似然法构建的损失函数(loss function )$E_{(w,b)}={\sum }_{i=1}^m(y_i-f(x_i){)}^2$求解$w$和$b$。
3. 算法：求偏导$\frac{\partial E_{(w,b)}}{\partial w}=0$，$\frac{\partial E_{(w,b)}}{\partial b}=0$，求解$w$和$b$的最优闭式解

1.2最小二乘法

基于最小化均方误差来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

均方误差的定义：$E_{(w,b)}={\sum }_{i=1}^m(y_i-f(x_i){)}^2$

以均方误差作为损失函数(loss function)，$\underset{(w,b)}{\mathrm{argmin}}$表示$E_{(w,b)}$取最小值时参数$(w,b)$的取值$(w^{\ast },b^{\ast })$,策略就是：

$(w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}{E}_{(w,b)}=\underset{(w,b)}{\mathrm{argmin}}{\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$

1.3极大似然估计

数学知识补充

1.–知识补充

使得观测样本出现概率最大的分布就是代求分布,也即使得联合概率(似然函数)$L(\theta )$取得最大值的${\theta }^{\ast }$即为$\theta$的估计值

2.eg:

3.对数似然函数

由于连乘不好求导,故将似然函数对数化,以方便求解

极大似然估计求解一元线性回归

1.4求解w和b

数学知识补充

1.凸函数与凸集

注意数分与高数的凹凸函数定义相反。凸函数的开口朝上。

2.梯度(多元函数的一阶导数)

3.海塞矩阵Hessian matrix(多元函数的二阶导数)

4.怎么证明矩阵为半正定矩阵?

半正定矩阵的判定定理之一：若实对称矩阵的所有顺序主子式均为非负，则该矩阵为半 正定矩阵。

5…凸函数证明定理

6.凸充分性定理

求解$w$和$b$其本质上是一个多元函数求最值（点）的问题，更具体点是凸函数求最值的问题。 推导思路：

1. 证明$E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$时关于$w$和$b$的凸函数；
2. 用凸函数求最值的思路（求导）求解$w$和$b$。

1.证明$E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$时关于$w$和$b$的凸函数

由凸函数证明定理可知,只需求多元函数的海塞矩阵为半正定矩阵即证明为凸函数

2.用凸函数求最值的思路（求导）求解$w$和$b$。