机器学习：线性回归1----原理推导

第一部分：线性回归原理和推导

根据样本标签值y是否是连续性，将算法分为回归----标签值y连续；分类----标签值y离散。

一.最大似然估计MLE

1.考虑房价数据集中，样本有多个特征x1,x2,…xn，每个样本有一个对应的房价y，一般认为y与特征之间存在某种线性关系：

中心极限定理意义：实际问题中，很多随机现象可以看做众多因素的独立影响的综合反应，往往近似服从正态分布，例如城市耗电量、测量误差等。
2.似然函数：一种关于统计模型参数的函数。给定输出(样本)x时，关于参数θ的似然函数L(θ|x)等于给定参数θ后发生事件X的概率：L(θ|x)=P(X=x|θ)。
3.最大似然估计(maximum likelihood estimation, MLE)推导


由于似然函数表示的是：给定样本特征X情况下，参数为theta时，发生事件Y的概率，因此需要找到使得似然函数(发生事件Y概率)最大的theta。
取对数不影响极值点分布，且似然函数为多项乘积形式，因此可以对似然函数取对数后求极值。