机器学习之logistic回归

logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，它解决的是分类问题，常用于数据挖掘，疾病自动诊断，经济预测等领域。
1.logistic回归和线性回归的区别
logistic回归和线性回归的区别在于以下几点：
1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。
2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。
3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系
4）logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系
2. 区分logistic回归与线性回归
实际上，logistic回归与线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归。logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。
3. softmax回归、logistic回归以及线性回归的关系
那么softmax回归、logistic回归以及线性回归他们三者是什么关系呢？logistic回归，Softmax回归以及线性回归都是基于线性模型。其实Softmax 就是logistic的推广，logistic一般用于二分类，而softmax是多分类。逻辑回归的激活函数是sigmoid函数，可理解成一个被sigmoid函数归一化后的线性回归，sigmoid函数把实数映射到了[0,1]区间。logistic回归可以通过推广到softmax回归来解决多分类问题。
4. logistic/sigmoid函数
下面接着谈谈sigmoid函数，logistic函数的公式形式如下：