逻辑回归算法

前言

• 以前听说过什么逻辑回归算法但是一直不知道是个什么东东，所以呢，今天特意去查了一下相关资料，然后将我所理解的相关知识记录了下来。
• 本文将从逻辑回归算法的原理入手，介绍与逻辑回归算法相关的模型假设、损失函数和其中用到的极大似然法与梯度下降算法公式，然后由二分类延伸到多分类的问题，最后介绍一下正则化。

一、逻辑回归与线性回归的联系与区别

1. 逻辑回归

• 逻辑回归算法是分类算法，名字虽然叫回归，但逻辑回归算法实际上是一种分类算法， 用于解决二分类问题的机器学习方法，用来估计某种事物的可能 性。比如某用户购买某商品的可能性，它适用于标签y取值离散的情况下。

2. 线性回归

• 是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

3. 联系和区别

• 线性回归和逻辑回归相当于一对“孪生兄弟”，这两种模型都是广义线性模型，但是逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归，可以简单的理解为逻辑回归是以线性回归为理论支持的。

二、逻辑回归算法原理

1. 逻辑回归的模型假设

模型假设是 $h_{\theta }(x)=g({\theta }^{T}X)$其中:X代表特征向量、θ代表参数、g代表激活函数，一个常用的激活函数为S型函数(Sigmoid function)，公式为:
$$g(z)=\frac{1}{1+e^{-z}}$$

• $h_{\theta }(x)$的作用是:
  对于给定的输入变量，根据选择的参数计算输出变量等于1的可能性，由条件概率公式可推导出:
  $P(y=1|x;\theta )=h_{\theta }(x)$
  $P(y=0|x;\theta )=1-h_{\theta }(x)$
  $P(y|x;\theta )=h_{\theta }(x{)}^y(1-h_{\theta }(x){)}^{1-y}$
  公式解释：如果对于给定的x，通过已经确定的参数计算得出$h_{\theta }(x)=0.7$，则表示有70%的几率为正类，相应地y为负类的几率为1-0.7=0.3。

2. 如何估计参数

• 在线性回归模型中，我们通过构造损失函数，并使其最小化来计算对应的参数，那么在LR里我们也使用相同的思想，不过实现方式有些不同。
• 线性回归里我们估计参数的方法是最小二乘法，若我们用同样的方法来构造逻辑回归的损失函数，我们得到的损失函数可能是一个非凸的函数，如下图：
  
• 因为是一个非凸的函数，那我们很可能得不到损失函数的全局最小值，只能得到局部极小值。同样若使用梯度下降算法可能找不到全局最优解，这时我们可以通过使用极大似然法来改变损失函数的形状来解决这个问题。

3. 极大似然法

3.1 什么是极大似然

• 通俗来说，极大似然估计法其实源自生活的点点滴滴，比方说有一个大学生他天天上课不听讲，天天上课玩手机，老师盯着他看了老半天，他也不知道收敛一些，那通过老师几十年的教学经验的判断，这小子期末一定是挂科的，果不其然，他真的挂科了。
  老师以过去大量的相同事件来判断目前正在发生的类似事件，这就是极大似然。

3.2 极大似然与逻辑回归问题

• 现在我们从已经摇匀的罐中有放回地拿一个球出来，记录球的颜色，重复100次，我们可以通过取出来球的颜色来估计罐中黑白球的比例。假如100次重复记录中，有70次是白球，请问罐中白球所占的比例最有可能是多少？

• 我们把一次抽出来球的颜色称为一次抽样，在1001抽样中，70次是白球，30次为黑球事件的概率是P(样本结果;θ)，则有:

  P ( 样 本 结 果 ; θ ) = P ( x 1 , x 2 . . . x 100 ; θ ) = P ( x 1 ) P ( x 2 ) . . . P ( x 100 ) = θ 70 ( 1 − θ ) 30 P(样本结果;θ)=P(x_1,x_2...x_{100};θ)=P(x_1)P(x_2)...P(x_{100})=θ^{70}(1-θ)^{30} P(样本结果;θ)=P(x1​,x