机器学习（一） 线性回归

 

监督学习：通过分析已有的训练数据，得出最优模型，进而对未知数据进行预测。

无监督学习：事先没有训练数据，直接对数据进行建模

分类和回归属于监督学习，之所以称之为监督学习，是因为这类算法必须知道预测什么，即目标变量的分类信息。

无监督学习，此时数据没有类别信息，也不会给定目标值。在无监督学习中，将数据集合分成由类似的对象组成的多个类的过程被称为聚类；将寻找描述数据统计值的过程称之为密度估计。此外，无监督学习还可以减少数据特征的维度，以便我们可以使用二维或三维图形更加直观地展示数据信息。

监督学习：线性回归，分类…..

 

P1：线性回归

样本拟合方程：

                          

 

其中，（x,y）为样本数据；n:数据特征数目；θ:为各项特征的参数，即权重。

回归目的：计算θ，使得h(x)与y的误差最小，基于最小二乘法，得

 

即，计算θ，使得J(θ)的误差最小。m :为样本容量。

下面介绍实现回归的几种算法：梯度下降，最小二乘法，局部加权线性回归

一，梯度下降（Gradient descent）：

给定初始θ，逐步更新θ值：

α：Learning rate, 决定下降速度。

J对θ求导，得：

 

计算过程：

循环直至收敛{

 

}

梯度下降方法，每次循环都要对所有样本参数进行计算；当样本容量很大的时候，计算量会很大；一种解决办法就是随机梯度下降(stochastic gradient descent)，计算过程如下：

循环{

}

m : 为样本容量；每次循环只对一组数据进行计算。

 

二， 正规方程（Normal equations）最小二乘解

梯度下降方程可写为如下形式：θ≔ θ- α* ∇θ J

 

定义：

   

 

So,

优化目的即使∇θ J(θ)=0, 即

最后得出，

 

此解即为超定方程的Ax = b最小二乘解:A^T Ax= A^T b

 

得， x= 〖(A^T A)〗^(-1) A^T b .

备注：若矩阵不可逆，可使用伪逆矩阵。

三，局部加权线性回归（Locally weighted linear regression）

对于上述的线性拟合方法，选择不同的特征函数就会出现不同的拟合结果，下图分别为使用1/2/6次方程线性拟合的结果，1/6次方程的线性拟合分别造成欠拟合与过拟合的现象：

为缓解特征选取的需求，提出非参数学习算法，局部加权线性回归即其中一种。

参数学习算法（Parameters learning algorithm）: 固定数目的参数

非参数学习算法（Non-parameters learning algorithm）: 参数数目随样本容量增加。

下面介绍局部加权线性回归（Loess）:

算法：

其中， 为权值，进行拟合点的选取，公式如下：

为钟形函数，不具有任何类似高斯函数的意义。当x(i)距离测试点x近时，权值较大；反之，权值很小。τ：带宽，确定选择的范围。

缺点：每进行一次预测，都要对所有数据进行一次线性拟合，计算量大。

问题：如何选择τ。

 

四，概率解释

本节是对最小二乘法实现线性回归的解释，即为什么使用最小二乘法；赋予最小二乘法概率意义。

Step1: 假设线性回归的函数为：

其中，为误差，假设服从正态分布，即，ϵ^((i))~ ℵ(0,σ^2)

 

采用正态分布的原因：1，对于大部分的线性回归，误差都服从于正态分布；2，基于中心极限定理。

Step2: 得误差的概率密度函数：

 

其中，x(i)为随机变量，θ为未知参数，具有具体的值，不是随机变量。（频率学派观点）

Step2:参数的最大似然估计，参数的似然性等价于数据的概率，似然函数如下：

 

参数的最大似然估计，即选择θ使数据出现的概率尽可能大，求θ使L(θ)最大，过程如下：

其中，J(θ)即

结论：参数θ的最大似然估计等价于最小化J(θ)-----最小二乘法的概率意义。