逻辑回归学习笔记

本讲大纲：

1.局部加权线性回归（locally weighted linear regression）

给定一个数据集，根据x预测y. 

最左边的函数为，并不能很好的拟合数据； 
中间的加了一个额外的特性，函数为，稍微更好地拟合了数据； 
似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式，虽然很好的拟合了给定的数据集，但是这个并不是一个很好的预测函数。

欠拟合（underfitting）：很明显有一些没有被模型捕获的结构，比如说最左边的图. 
过拟合(overfitting)：最右边的就是一个过拟合的例子.

因此说，特性的选择对于学习算法的性能来说是很重要的！！！

在原先的线性回归算法中，对查询点x做预测，我们： 

而局部加权线性回归算法是： 
 
其中，是非负值的权重。 
对权重的一个标准选择是： 
 
当很小时，权重接近于1；当很大时，权重很小，接近于0. 因此，的选择是训练集中越接近查询点的样本权重越大. 参数控制着样本集离查询点距离权重下降的快慢，称为波长参数.

非参数化学习算法（non-parametric learning algorithm）： 
为了更好的展现假设，我们需要考虑的东西的数量随着训练集而线性增长（局部权重加权回归算法是我们学习的非参数学习算法的第一个例子）. 
参数化学习算法（parametric learning algorithm）: 
拟合数据只需要固定的、有限的参数（线性回归算法）.

2.概率解释（probabilistic interpretation）

在回归问题中，为什么选择最小二乘法，是否合理？

假设目标变量和输入的关系如下： 

表示误差项，不管是建模过程中没有考虑进来的因素，还是一些随机的因素； 
根据高斯分布（Gaussian distribution）或者叫做正态分布(Normal distribution),再假设是IID(independently and identically distributed), 也就是说，， 
 
等价于： 
 
注意，的意思是在参数的情况下，给定x，y的分布，并不是随机变量.

似然函数（likelihood function）: 

注意到误差项的独立假设，对所有给定的X,有： 

根据最大似然估计原则，我们应该最大化.

为了计算方便，对极大似然函数取对数， 

问题转化为最小化这也就是我们最初的最小二乘法的代价函数.

注意到我们的最终结果与无关.

3.逻辑回归（logistic regression）

分类（classification）：也类似于回归(regression)问题，只是y的取值是一小部分的离散值.这边我们暂时先考虑二元的分类问题(binary classification，也就是说y只有两个取值,0和1.

为了了解分类问题，先忽略y是一个离散值，使用线性回归算法来预测y. 但是很容易发现的问题是y有可能出现大于1或者小于0的值，因此我们改变假设函数为： 
 
称为逻辑函数(logistic function)或者s型函数（sigmoid function）.

下面是g(z)的图像： 

logistic 函数一个有用的求导特性： 

假设： 
 
等价于： 
假设m个训练样本是单独产生的，于是 

取对数得： 

类似于在线性回归中的求导，可以使用梯度上升(gradient ascent)(因为是正号，因此是最大化不是最小化).

考虑一个样本，根据梯度上升原则求偏导： 

因此

4.感知器算法（the perceptron learning algorithm）

如果需要改变logistic回归方法使得输出是0或1，定义临界函数（threshold function）: 
 
令，但是用这个函数定义g，因此： 
 
这就是感知器学习算法.