Sigmoid函数以及逻辑回归的由来

       线性回归时统计学经典算法，它能够拟合出一条直线来描述变量之间的线性关系。但在实际中，变量之 间的关系通常都不是一条直线，而是呈现出某种曲线关系。在统计学的历史中，为了让统计学模型能够更好地拟合曲线，统计学家们在线性回归的方程两边引入了联系函数（link function），对线性回归的方程做出了各种样的变化，并将这些变化后的方程称为“广义线性回归”。其中比较著名的有等式两边同时取对数的对数函数回归、同时取指数的S形函数回归等。

                                         

       在探索的过程中，一种奇特的变化吸引了统计学家们的注意，这个变化就是sigmoid函数带来的变化。Sigmoid函数的公式如下：

                                             

其中e为自然常数（约为2.71828),其中z是它的自变量，是因变量，z的值常常是线性模型的取值（比如，线性回归的结果z)。Sigmoid函数是一个S型的函数，它的图像如下：

                        

       从图像上可以看出，这个函数的性质相当特别。当自变量z趋近正无穷时，因变量趋近于1，而当z趋近负无穷时，趋近于0，这使得sigmoid函数能够将任何实数映射到（0，1）区间。同时，的导数，在z=0点时最大（这一点的斜率最大），所以它可以快速将数据从z =0的附近排开，让数据点到远离自变量取0的地方去。这样的性质，让sigmoid函数拥有将连续性变量z转化为离散型变量的力量，这也就是化回归算法为分类算法的力量。

       具体如何操作呢？只要将线性回归方程的结果作为自变量带入sigmoid函数，得出的数据就一定是（0，1)之间的值。此时，只要我们设定一个阈值（比如0.5），规定大于0.5时，预测结果为 1类，小于0.5时，预测结果为0类，则可以顺利将回归算法转化为分类算法。此时，我们的标签就是类别0和1了。这个阈值可以自己调整，在没有调整之前，一般默认0.5。对线性回归后的结果取sigmoid函数的结果如下：

                                   

更神奇的是，当我们对线性回归的结果取sigmoid函数之后，只要再进行以下操作：

1）将结果以几率  的形式展开

2）在几率上求以e为底的对数

很容易得到：

                      

                               

                               

                               

       可以发现，让取对数几率后所得到的值就是我们线性回归的结果z！因为这个性质，在等号两边加sigmoid的算法被称为“对数几率回归”，在英文中就是“Logistic Regression",就是逻辑回归。逻辑回归可能是广义线性回归中最广为人知的算法，它是一个叫做”回归“实际上却总是被用来做分类的算法，对机器学习和深度学习都有重大的意义。

 为什么  值代表了样本为某一类标签的概率？

         是形似对数几率的一种变化。而几率的本质是 ，其中p是事件A发生的概率，而1-p是事件A不会发生的概率，并且p+(1-p)=1。因此在理解逻辑回归时，对做出如下解释：

       我们让线性回归的结果逼近0和1，此时和1-之和为1，因此它们可以被我们看作是一对正反例发生的概率，即是某样本i的标签被预测为1的概率，而1-是i的标签被预测为-的概率，就是样本i的标签被预测为1的相对概率。基于这种理解，逻辑回归、即单层二分类神经网络返回的结果被当成是概率来看待和使用（如果直接说它是概率，或许不太严谨）。当希望求解样本i的标签是1或是0的概率时，我们就使用逻辑回归。

       因此，当一个样本对应的越接近1或0，我们就认为逻辑回归对这个样本的预测结果越肯定，样本被分类正确的可能性也越高。如果非常接近阈值（比如0.5），就说明逻辑回归其实对这个样本究竟应该是哪一类别，不是非常肯定。