从【为什么要用sigmoid函数】到真的懂【逻辑回归】

1.逻辑回归是广义线性回归（GLM）的一种特殊形式

2.GLM有三个要素构成：响应变量服从指数族分布，系统分量是预测变量x的线性模型，通过连接函数联系前两者

2.逻辑回归建立在0-1分布上，而0-1分布是指数族分布一员

3.由最大熵原理可以推导出指数族分布

4.逻辑回归假设函数值域是[0,1]能代表概率是因为指数族分布的对数配分函数的一阶导(是充分统计量的期望)刚好与0-1分布均值为h的事实相吻合

5.最后，连接函数选择典则连接，这样可以使得GLM有完全统一的MLE正则方程

6.综上，推导出逻辑回归的假设函数是siomoid函数，这是基于GLM模型推导的结果，不是原因

逻辑回归是机器学习用于二分类任务的重要算法，也是金融风控评分卡模型的假设函数。小编刚学习的时候就很多疑问：为什么一定是sigmoid函数而不能是均方误差呢，代价函数为什么是交叉熵呢。

一开始我得到的答案是分类问题要限定在0~1概率范围，sigmoid的性质很好等等，这些答案都是错的！！！

要回答【逻辑回归为什么要使用sigmoid函数】这个问题，得了解【指数族分布】和【广义线性回归】

1.指数族分布

满足已知事实的最大熵问题

机器学习经常需要做的事情是：给定一组训练数据 D，我们希望通过 D 得到我们研究空间的概率分布。这样，给出一个测试数据，我们就可以找出条件概率中概率最大的那个点，将其作为答案输出。

直接学习概率分布是不现实的。直接学习概率分布最简单的方法，就是把空间分成很多很多小的单元，然后统计样本落在每个单元的频率，作为每个单元的概率分布。但是这种方法会面临着数据不足、有噪音、存储能力受限等问题。

在大多数情况下，我们都会人为指定某种概率分布的形式（例如指定为高斯分布或伯努利分布等）。对概率函数的学习就转化为了函数参数的学习，减小了学习的难度；我们也只需要存储我们感兴趣的统计量（例如对于高斯分布，我们只需要存储均值和方差；对于伯努利分布，我们只需要存储取正类的概率），减小了对存储空间的需求。当然，由于人为限定了概率分布形式，我们就需要根据不同的问题选择不同的分布，就像对不同问题选择不同的机器学习模型一样。

 为此，我们抽象出概率模型P，它满足以下性质：

其中，Xi表示第i条训练样本数据, ϕ(Xi)表示从第i条样本数据中感兴趣的统计量（向量），简单来说，就是概率模型的期望等于所有训练数据的均值

注： ϕ(X）其实叫做充分统计量，它直观理解是用一定的统计量(可以是一个，也可以是多个)就能表示一组数据，比如高斯分布，只需要存储均值和方差，就能生成一组服从该分布的数据。可以减少数据存储的压力。

满足上述式子的概率模型有很多种&#x