LR+Sigmod+Softmax+CE

逻辑回归LR是机器学习中一种主流的分类模型，主要用于二分类问题。

在这之前，线性回归多用来解决回归和分类问题，但是在分类问题中表现不佳，其输出值是不确定范围的。

LR将线性回归模型不确定范围的输出值通过Sigmod函数映射到（0,1）之间，即伯努利分布。

确定LR的数学形式之后，一般通过最大似然估计来求解模型的参数，即找到一组参数使得输出概率最大。一般通过梯度下降法求解最优解。加入正则项后LR是严格的凸函数，一定存在全局最优解。

将Sigmod函数换成Softmax函数便可解决多分类问题，计算每个目标类别在所有可能目标类别中的概率。

无论是二分类还是多分类问题计算Loss都用交叉熵CE，交叉熵用来描述两个概率分布之间的距离。

补充：Sigmod函数定义域为全实数值，输出为（0,1）之间。用作激活函数和二分类问题。

补充：Softmax函数计算多个不同事件的概率分布，用来解决多分类问题。

补充：相对熵又称KL散度，用来描述当前编码相对最优编码多出来的Bit数，KL散度最小化又称为似然比最大化，常用在变分自编码器和变分贝叶斯中。