12天summer----初级算法梳理-逻辑回归算法梳理

 

逻辑回归是机器学习分类算法的一种，在线性回归基础上加入类别映射。从而实现分类问题。换句话说，逻辑回归算法是在线性回归的基础上，构建因变量y的转换函数，将y的数值划分为0-1两类，绘制多类，实现对事物的分类拟合与预测。逻辑函数采用Sigmoid函数，可以将输出变量的值域压缩到(0,1)区间内。这时可以利用下面的公式进行预测：ŷ = w[0] * x[0] + w[1] * x[1] + …+ w[p] * x[p] + b > 0这个公式看起来与线性回归的公式非常相似，但我们没有返回特征的加权求和，而是为预测设置了阈值（0）。如果函数值小于 0，我们就预测类别 -1；如果函数值大于 0，我们就预测类别 +1。对于所有用于分类的线性模型，这个预测规则都是通用的。同样，有很多种不同的方法来找出系数（w）和截距（b）。对于用于回归的线性模型，输出 ŷ 是特征的线性函数，是直线、平面或超平面（对于更高维的数据集）。对于用于分类的线性模型，决策边界是输入的线性函数。换句话说，（二元）线性分类器是利用直线、平面或超平面来分开两个类别的分类器。

学习线性模型有很多种算法。这些算法的区别在于以下两点：

•  系数和截距的特定组合对训练数据拟合好坏的度量方法；

•  是否使用正则化，以及使用哪种正则化方法。

不同的算法使用不同的方法来度量“对训练集拟合好坏”。由于数学上的技术原因，不可能调节 w 和 b 使得算法产生的误分类数量最少。对于我们的目的，以及对于许多应用而言，上面第一点（称为损失函数）的选择并不重要。最常见的两种线性分类