机器学习实验2 - 逻辑回归

一、实验原理

1.什么是逻辑回归 (LogisticRegression)

        逻辑回归实际上是一种分类模型，往往用来解决二分类问题(0 or 1)。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性。

Logistic 回归的本质是：假设数据服从某种分布，然后使用极大似然估计做参数的估计。

sigmoid 函数：

        逻辑回归名字的由来是因为算法流程中使用到了一个关键的 Logisitic 函数，该函数是一个比较简单的单调递增函数，逻辑回归用 sigmoid 函数来计算样本对应的后验概率。

表达式和图像如下：

 

其中，X是我们的训练样本输入，w就是我们需要求的参数，Y是最后的结果分类标签(0，1)

2.如何得到模型的函数

逻辑回归模型的数学形式确定后，剩下就是如何去求解模型中的参数。

在统计学中，常常使用极大似然估计法来求解，即找到一组参数，使得在这组参数下，我们的数据的似然度（概率）最大。

似然函数：

为了更方便求解，我们对等式两边同取对数，写成对数似然函数：

 

 找到令l(w)最大的w，就是我们要找的模型

 在l(w)公式上加个负号，得到的损失函数表示

 我们发现交叉熵公式跟之前的逻辑回归损失函数完全一致，也就是说逻辑回归的损失函数其实就是交叉熵