机器学习-线性回归(一)

  Spark推荐系统，干货，心得 

  点击上方蓝字关注～

 

回归问题的学习等价于函数拟合：使用一条函数曲线使其很好的拟合已知函数且很好的预测未知数据

一元线性回归：

回归分析只涉及到两个变量的，称一元回归分析 

y = ax + b

案例

目标

试图学到一条线性模型尽可能准确地预测新样本的输出值

分析

数据点可视化

找出一条最合适的线来拟合所有的数据点

误差

真实值和预测值之间肯定存在差异，用ε表示

对于每个样本

中心极限定理：中心极限定理，是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。

 

在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布(忘记的可以百度百科)。

 

第i个样本实际的值等于预测的值加误差

假定所有的样本都是独立的，有上下的震荡，震荡任务是随机变量，足够多的随机变量叠加之后形成的分布，根据中心极限定理，它服从的就是正态分布，也就是高斯分布。

既然误差和均值为0，方差为平方的正态分布，那么我们可以把它的概率密度函数写出来

预测值与误差： 

误差代入概率密度函数： 

将1式代入2式：

最大似然估计：给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”

 

知道这个分布是正态分布，但是不知道均值和方差；或是二项分布，但是不知道均值。最大似然估计(MLE, Maximum Likelihood Estimation)就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大。

 

所以 似然函数：

对数似然：

化简并计算w和b

求解

将数据代入求得

w = 7.67

b = -10017.36

所以模型

y = 7.67x - 10017.36

推荐阅读：

学习人工智能你需要了解的基本概念

机器学习中一些基础的数学

长按识别二维码关注我们