LR与Sigmod函数

        在使用LR时，经常用Sigmod函数来表示一个概率，为什么LR可以使用Sigmod函数呢？

        首先，LR的假设只有一个，就是两个类别的特征服从均值不等、方差相等的高斯分布。为什么假设它服从高斯分布？一方面，高斯分布容易理解；另一方面，从信息论的角度看，当均值和方差已知时，高斯分布是熵最大的分布。当熵分布最大时，可以平摊风险。就如二分查找法，每次都将中间作为查找点，目的就是为了平摊风险。

        自定义“风险”：

式中，表示样本预测为0的风险，表示样本预测为1的风险，表示预测为，实际为所带来的风险。

        在LR算法中，它认为，预测正确不会带来风险，即和都为0，另外，认为标签为0，而预测为1和认为标签为1，而预测为0，两者所带来的风险是一样的，所以和统一用来表示。

        上面的“风险”化简为：

        对于某一个样本，应该根据风险最小化来预测其类别，即比较两个条件概率，并把样本分配到概率最大的那个类中。

如：

将上式取对数，再利用朴素贝叶斯公式展开，得到：

由于和是常数，可以用常数代替，套入高斯公式，

又，两边取指数，得到：

        综上，LR算法可以使用Sigmod函数来进行计算分析。