逻辑回归算法c语言_轻松理解机器学习算法：逻辑回归

1、逻辑回归简介

逻辑回归(logistic regression)由统计学家David Cox于1958年提出。与传统的线性回归不同，逻辑回归中响应变量的取值不是连续的，而是离散的，每一个取值代表一个不同的类别。因此，逻辑回归的本质是一个分类器(classifier)。逻辑回归是一种有监督学习方法，通过训练集中样本的特征向量x和标签y来训练模型的参数，并使用该模型对新样本进行分类。

最简单的逻辑回归中响应变量是二分类的(binary)，也就是说它仅仅可以取两个值，通常，它的取值为0和1，代表不同的两类。即使是最简单的逻辑回归模型也有广泛的应用，例如这两类可以代表比赛中的输和赢、考试中的通过和失败以及股市中的涨和跌等。如果响应变量的取值多于两类，则这样的问题称作多项逻辑回归(multinomial logistic regression)。

在二元逻辑回归中，回归模型根据样本点的特征(features)计算该样本点属于每一类的条件概率。

关于逻辑回归，可以用一句话来总结：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，以达到将数据实现二分类的目的。

2、Sigmoid函数

逻辑回归是基于Sigmoid函数构建的模型，Sigmoid函数公式如下：