吴恩达机器学习之logistic回归

logistic回归，是一种广义的线性回归分析模型，一般用于分类。与侠义的线性回归相比，模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数。区别是因变量不同，后者直接将w‘x+b作为因变量，即y =w‘x+b，而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。下面以二分类函数为例，简单说明假设函数与代价函数。
1.假设函数(二分类)
函数L取Sigmoid函数，则假设函数如下：

其中，z = thetaT*x。h(x)，值域为0-1。

Sigmoid函数
2.代价函数
如果按照线性回归那样设计代价函数，则

由于h(x)是非凸函数，则J也是非凸函数，导致有许多局部最优值，而不是全局最优值。可以选择对数似然损失函数，其是凸函数。
逻辑回归似然函数(y取0或者1)：

取对数，

我们的目标是求最大l(θ)时的θ，如上函数是一个上凸函数，可以使用梯度上升来求得最大似然函数值(最大值)。或者上式乘以-1，变成下凸函数，就可以使用梯度下降来求得最小负似然函数值（最小值）：

代价函数曲线图如下：


3.高级优化
比如共轭梯度法等，不需要指定学习率，且当问题规模很大时，收敛速度比梯度下降快的多。因此，列出代价函数后，最好使用已有的高级算法库，求解未知参数。
4.多元分类
“一对多”。比如分为n类，两两设计独立的分类器，共Cn2个分类器，分别求解。当进行预测时，输入x,分别计算每个分类器预测的概率，概率最大的即为最终的分类结果