机器学习第二讲-有监督学习

这一章讲三种方法：线性回归方法，判别式的分类方法，产生式的分类方法

线性回归

给出房子的面积，房子的位置，计算出房子的价钱。
input是二维，面积跟位置

输出目标是价格，我们可以用线性表达式做一个加权

因此我们可以写成最简单的回归模型形式：

解这个方程我们可以用梯度下降的方式求

这是一个最简单的回归，我们可以从概率的角度对他进行解释：

我们认为所有的结果都是我们的模型加上一个噪声造成的，这个噪声是高斯噪声，均值为0，方差为 (键盘打不出来，你们都懂)

这样我们可以吧样本中的条件概率写成这种形式：

就是given x,和参数w，可以求出y的概率。
这样我们就可以定义参数w的似然函数：

似然函数其实是反应模型中参数的概率的函数，我们取对数就可以把高斯中的指数消掉

我们最大化这个似然函数就可以得到w，变成了最小二乘问题：

其实最大化似然函数跟最小化二乘是一样的。
如果是局部加权的线性回归又是什么样的呢？

在这里我们多了一个参数，这个参数我们也是要求出来的：

这个参数跟每一个样本都有关系，从物理的角度分析这个问题，就是我们每一次加权时，离它近的点的权重会比较大，影响会大，离它远的点的作用就会小
非线性奇函数的线性回归模型
我们从几何的层面上看，假设y是一个n维的向量，输入样本有N 个，一个样本有一个输出 ，y是一个n 维的向量，把每一个x样本 通过m个奇函数映射到m 维空间，在图中画了两个红色的向量1和2

分类

我们先对两类问题的分类做一个预备知识：
我们given x ，y=1的概率维t,y=0 的概率维1-t

分类规则为：

我们也可以写成：

log这种式子叫做logit function,logistic function其实是它的反函数。
logistic function

这个g(.)称作logistic 或者sigmoid function

logistic 回归是一个分类模型，建立这样一个模型之后就要进行参数的估计

参数的似然就可以写生下面的形式：

求所有N个样本的后验概率的乘积，然后再取log,取最小化

判别式方法和产生式方法的异同

判别式的分类是直接去model它的后验概率或者是去学它的判别函数，比如逻辑回归，SVM，在这里可能对他判别的形式做假设
产生式的是关心数据的生成过程和先验概率，根基先验和似然，求出后验