Logistic Regression

一、Logistic Regression 概念

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星。简单理解就是如果我们用线性回归方程得到如果我们令，那么这个问题就变成了一个logistic regression问题了。它就具备有分类的功能了。如果我们定义一个分类y=0 or 1，我们记为1，而为0的话，这样我们就把问题分成两类了。当然在Andrew Ng课程中定义了一个函数h(x)其值域就是[0,1]。在网上查找有的说可以理解为概率及，我们得到y=0的概率为h(x)，有些人说不是概率，就我自己理解我更偏向于概率，感觉andrew ng讲解的时候就是按照概率来理解的。

二、Logistic Regression 模型

在上面我们说过了我们要找到一个函数在使得值域始终为[0,1],在课程中选取的是,即sigmoid function。至于为什么这么选择，我也不清楚。wiki上面倒是讲到了这个函数（http://en.wikipedia.org/wiki/Logistic_function , http://en.wikipedia.org/wiki/Sigmoid_function）。然后如果我们令那么我们定义一个新函数，其图像类似于我们高中生物学习的S曲线然后。其实就相当于把原来的函数化为一个复合函数了。这样当h(x)>some value时候对应着z也有相应的值，这个就相当于我们在概率中的条件假设，

，h相当于其概率分布，而z相当于样本变量。

三、基本公式

，这个很好理解，从条件概率和假设检验角度都可以很容易解释。

四、决策边界

上面我们说过了对于一次分类（假设为），其对应的z应该会有一个范围，当然对于上面的sigmoid function 就是z>0了即如果那么就是，这样就构成了一个决策边界，其决策边界就是一条直线了。

当然决策边界会有不同的形式，如果那么决策界面就是一个圆了。

五、cost function

 为了匹配数据点，我们又需要一个衡量匹配程度的函数，就像 回归问题一样的cost 函数. 于是同理我们可以得到

于是我们急切地想要把它用我们之前的gradient descent 的方法求解出使cost 最小的两个a,b值。 但是很遗憾的是， 这个cost函数关于a,b,是非凸(non-convex)的。 就像下面那张图那样坑坑洼洼。。。

所以你需要构造一个更好的cost函数， 在可以 衡量拟合程度的同时 又是 一个关于a,b 的凸函数(像回归问题的cost一样，和一个碗一样，只有一个极小值).

在andrew ng课程中构造了一个函数：

现在我们又可以用我们熟悉的 导数方向下降法(gradient descent) 使cost 降低到最小了。

有人说这个是通过最大似然估计得到的，最大似然估计表示对于样本其同时发生的概率。

Y的分布律为

于是最大似然函数为：

六、问题

求最大值为求导然后导数为0即可。这个式子和cost function 确实很是相似，但是不知道是我理解的最大似然有差别还是什么的，这个我觉得最大似然估计是研究所有的事件同时发生的最大概率，这个和cost function的定义刚好相反，所以我觉得这个不能这么去理解，而是应该随着问题变化而定义的，具体过程在andrew ng 课程上面有解释。