逻辑回归概述
逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法。
它可用于估计某种事物的可能性,比如某用户购买某商品的可能性(买 or 不买),某广告被用户点击的可能性,某病人患有某种疾病的可能性等。
逻辑回归虽然名字里面有回归,但是主要用来解决分类问题。二分类问题就是给定的输入𝑦,判断它的标签是 A 类还是 B 类。
用连续的数值去预测离散的标签值
如何改进线性回归模型来预测标签:
一个最直观的办法就是设定一个阈值,比如 0,如果我们预测的数值 y > 0 ,那么属于标签 A,反之属于标签 B。
另一种方法,我们不去直接预测标签,而是去预测标签为 A 概率,我们知道概率是一个[0,1]区间的连续数值,那我们的输出的数值就是标签为 A 的概率。一般的如果标签为 A的概率大于 0.5,我们就认为它是 A 类,否则就是 B 类。这就是我们的所说的逻辑回归模型 (Logistics Regression)。
Sigmoid 函数
其公式如下:
其函数曲线如下:
从上图可以看到 sigmoid 函数是一个 s 形的曲线,它的取值在[0,1]之间,在远离 0 的地方函数的值会很快接近 0 或者 1。它的这个特性对于解决二分类问题十分重要