监督学习1

监督学习：给定输入值x和输出值y，学习映射关系f. (一个样本包含一个输入值和一个输出值，训练集包含n个训练样本)


回归问题：映射关系f的输出值是连续的；
分类问题：映射关系f的输出值是离散的；


线性回归：
通常输入值x是一个向量，也就是有多个维度，线性回归的特点是映射函数是对输入的多个维度的值求加权和。
hθ(x) = θ0 + θ1x1 + θ2x2


代价函数：
为了评价一个线性回归是否比另一个更好，采用代价函数来判断。


LMS代价函数：
对每一对样本，将模型的预测值与样本的输出值做差，再取平方和，最后将所有平方和相加后除以2.


模型训练：
有了代价函数，可以采用基本的数学方法来解这个问题——梯度下降算法。


梯度下降算法
batch gradient descent： 更新一次theta参数需要所有样本；


stochastic gradient descent:
更新一次theata只需要一个样本（按随机顺序选取）


为什么要采用LMS作为代价函数？

概率论观点：假设预测值与真实样本值之间的误差是IID高斯分布，最后可以推导出，最大似然估计得出的结果就是LMS算法优化后得出的解。