逻辑回归

什么是逻辑回归？

逻辑回归是将一个事件出现的概率适配到一条线性曲线上，常见的逻辑回归函数为 Sigmoid 函数。如下所示：

对应的曲线如下：

逻辑回归模型是一种将影响概率的不同因素结合在一起的指数模型，对这些因素进行线性组合，其中参数 β 称为自回归参数，表示相应影响因素的重要性。

如何决定这些参数β ：

上述回归模型可看作是一个一层的人工神经网络。当这些参数数量较少时，所有训练人工神经网络的方法均适用。对于搜索广告的点击率预估这样的问题，需要训练的参数有上百万个，因此要寻找更有效的方法，具体不在我们的讨论之列。 

这个模型被称为 logistic 回归，虽然应该强调的一点是，这是一个分类模型（主要用于二分类）而不是回归模型。

逻辑回归的主要用途：

• 寻找危险因素：寻找某一疾病的危险因素等；
• 预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；
• 判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。说的直白点，就是分类。

Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。

常规步骤

Regression问题的常规步骤为：

1. 寻找h函数（即hypothesis）；
2. 构造J函数（损失函数）；
3. 想办法使得J函数最小并求得回归参数（θ）

具体实现见http://blog.csdn.net/pakko/article/details/37878837