机器学习----逻辑回归模型及求解过程[基础篇]

前言

    逻辑回归模型，我感觉还没有理解到位，希望路过的同学可以给我一点建议和指导，先把已经掌握的放在这里。懂分享的人，一定会快乐！

    Logistic Regression Model主要用于分类，多数情况下是二分类，也可以用做多分类。其本质上是一种线性回归模型（Linear Regression Model），为什么呢？普及一下广义线性模型，因为它们同属于Generalized Linear Model。

    广义线性模型，按因变量（结果）的种类划分，有这四种：

• 结果连续，是多重线性回归模型
• 结果是二项分布，是逻辑回归模型
• 结果是Poisson分布，是泊松回归模型
• 结果是负二项分布，是负二项回归模型【PS：我没接触过这种的】
  

    现在谈下逻辑回归和线性回归的区别：因变量不同！！！我想你看出来了。

    逻辑回归模型将连续的结果用函数g(z)做映射，将连续的变成了离散的。所以要点是，g(z)函数。一定要明白g(z)函数的原理。可以看出，g(z)函数的结果是离散的。在机器学习里，通常是0或1（当g(z)是sigmoid函数时），也可以是-1或1（当g(z)是双曲正切tanh函数时）。本篇博文不讨论tanh了，可以自己查查资料。

    Logistic Regression Model主要用于分类，也有人讲可以用来预测，判别，寻找危险因素等。具体应用，还需要多找找案例，欢迎留下评论。

1 关于g(z)函数

    g(z)就是个名称，它也可以叫s(b)，d(b)等。来看看当它是sigmoid函数时候的样子。Sigmoid函数是在生物学中常见的S型的函数，也称为S形生长曲线。

    Sigmoid的脸：

    Sigmoid的身材：

    由图知道，她的结果是连续的，但是一般大于0.5结果是1，小于是0。嗯，很不讲理吧。之前讲Logistic的本质是Linear，是因为变量z。

    也许你见过这个美女：

里面有个（这是写成了矩阵相乘的形式，不懂看看线代去），这个就是z，她来自于线性回归模型，就是下面这个：

    这样就清楚了，线性回归的结果变成了逻辑回归的输入，因为sigmoid函数的特性，连续的变成了离散的0或1。

    当然g(z)也可以是其他的函数，就比如tanh函数，etc。

2 关于z变量

    当z趋于-∞时，结果趋于0；当z趋于+∞时，结果趋于1。所以只要得出z的值，就可以做分类了。

    该上概率论的菜了，主菜是似然估计。求z，等同于求参数θ。
    极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法。

    一般的求解过程：

• 写出似然函数；
• 对似然函数取对数，并整理；
• 求导数；
• 解似然方程；
  

   

    到这，θ得到了，z及分类结果也就得到了。

内容来自：谷震平的博客，希望尊重版权，尊重原创。

链接：http://blog.csdn.net/guzhenping