【机器学习】逻辑回归

1.定义

        逻辑回归对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。

2.公式

        以处理二分类问题为例。由于分成两类，我们便让其中一类标签为0，另一类为1。我们需要一个函数，对于输入的每一组数据，都能映射成0~1之间的数。并且如果函数值大于0.5，就判定属于1，否则属于0。而且函数中需要待定参数，通过利用样本训练，使得这个参数能够对训练集中的数据有很准确的预测。对于二分类问题，使用sigmod作为激活函数。sigmod激活函数公式与图像如下所示。

        为了更为直观的展现，在逻辑回归公式中仅设置了w1、w2、b三个参数，具体的计算公式如下。

        1）x1、x2作为输入

        2） 将输出结果送入sigmod激活函数

        3） 计算真实值和预测值的损失

 3.逻辑回归与线性回归的异同

• （1）线性回归只能用于回归问题，逻辑回归用于分类问题（可由二分类推广至多分类）。

• （2）线性回归无联系函数或不起作用，逻辑回归的联系函数是对数几率函数，属于Sigmoid函数。

• （3）线性回归使用最小二乘法作为参数估计方法，逻辑回归使用极大似然法作为参数估计方法。

        （4）线性回归主要用来解决连续值预测的问题，而逻辑回归用来解决分类的问题，输出的属于某个类别的概率，线性回归加上sigmoid之后就变成了逻辑回归。