机器学习|2.逻辑回归

一.原理解释

1.基本思想：

线性回归模型产生的预测值是实值，故我们需要将实值z转换为0/1值，最理想的是“单位阶跃函数”。

2.逻辑回归分布：

Logistic分布是一种连续性的概率分布，其分布函数和密度函数分别为：

 其中，是位置参数，是形状参数。

深度学习中常用的Sigmoid函数就是Logistic的分布函数在的特殊形式。

3.利用Sigmoid函数转换为概率

对数几率函数是一个常用的替代函数：

                                                        

将线性函数带入：

                                                        

两边取对数：

                                ​​​​​​​        ​​​​​​​        ​​​​​​​        

若将y视作样本x作为正例的可能性，则1-y则是其反例的可能性。

若将y视作概率估计p(y=1|x)，则上式可写作：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

利用极大似然估计法求解和b。 

   也就是说，输出 Y=1 的对数⼏率是由输⼊ x 的线性函数表示的模型，这就是逻辑回归模型。当 的值越接近正⽆穷， 概率值也就越接近 1。因此逻辑回归的思路是，先拟合决策边界（不局限于线性，还可以是多项式)，再建⽴这个边界与分类的概率联系，从⽽得到了二分类情况下的概率。

   似然函数：

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​