通俗理解逻辑回归

前言

     关于机器学习相关的算法，不想追求高大上，只想用通俗易懂的方式去推导。一是因为能力有限；二是因为只注重公式推导和严谨性对于初学者来说不好理解。欢迎大佬们多多指教。

    

☆☆☆ 算法目录导航页，包含基础算法、高级算法、机器学习算法等☆☆☆

    

1. ML/DL到底要干什么

    其实整个机器学习或深度学习要干的事只有2件：

    ① Data → Model，已知数据，如何建模；

    ② Model → 求参数，已知model，如何求参数w。

2. 逻辑回归概念

    逻辑回归（logistic regression）是机器学习模型中的基础模型。虽然叫回归，实际却是解决分类问题。究其原因，是历史遗留问题，大家不要纠结这个，只要记住是解决分类问题就可以了。（葫芦书有详细说明，有兴趣可以看看）

3. 如何建模

    逻辑回归是一个广义的线性模型，我的理解它的初衷是想用线性函数去解决分类问题。比如，用 y = wx 解决分类，但是y的值是连续的，不是0,1。那么我们希望找到一个阶跃函数能把y的值映射成0,1，所以阶跃函数h如下：$$h(y)=\{\begin{array}{cl}0,& y<0\\ 0.5,& y=0\\ 1,& y>0\end{array}$$

 但是，上式不连续，我们希望找到一个单调可微函数，以便我们后面求解参数。所以， 我们找到了一个Sigmoid函数: $$h(y)=\frac{1}{1+e^{-y}}$$

 它的函数图像是这样的：

 因此，用sigmoid函数代替了之前的阶跃函数。

 sigmoid函数表示的是给定x, y趋近于0和1时的概率值，则我们可以表示为后验概率：

$$p_1=P(y=1|x;w)=h(x)$$

$$p_0=P(y=0|x;w)=1-h(x)$$

 则目标函数可表示为：$$P(y|x;w)=p_1^y\cdot p_0^{1-y}$$

4. 如何求参数

    ① 找一个损失函数；

    ② 利用梯度下降算法优化损失并求出参数。

    利用最大似然估计MLE化简目标函数。为什么用MLE呢？

     1.最大似然也就是最大概率，概率越大即分类更精确，求出概率最大时w的值即可。

     2.得到的损失函数是凸函数，利于求解。

     所以，使用MLE是合理的。

    MLE 化简：$$\begin{array}{rl}L(w)& =\max P(y|x;w)\\ & =\max \prod _{i=1}^{n}p\left(y^{(i)}|x^{(i)};w\right)\\ & =\max \prod _{i=1}^n{p}_1^{y^{(i)}}{p}_0^{1-y^{(i)}}\\ & =\max \prod _{i=1}^n{\left(h\left(x^{(i)}\right)\right)}^{y^{(i)}}{\left(1-h\left(x^{(i)}\right)\right)}^{1-y^{(i)}}\end{array}$$

    为了简化运算，L(w)取对数：

$$l(w)=lnL(w)=max\sum _{i=1}^n\left[y^{(i)}\ln h\left(x^{(i)}\right)+\left(1-y^{(i)}\right)ln\left(1-h\left(x^{(i)}\right)\right)\right]$$

    求l(w)最大，也就是求-l(w)最小，那我们就可以定义损失函数为 -l(w)，则损失函数为：$$J(w)=-\frac{1}{n}\sum _{i=1}^n\left[y^{(i)}\ln h\left(x^{(i)}\right)+\left(1-y^{(i)}\right)ln\left(1-h\left(x^{(i)}\right)\right)\right]$$

    它的函数图像是这样的：

    它是一个单调凸函数，所以我们用梯度下降算法求参数w。梯度下降算法公式：

$$w_j:=w_j-\alpha \frac{\partial J(w_j)}{\partial w_j}$$

     α 为学习率。我们按照公式不断更新w的时候，损失函数的值会逐渐下降，当其慢慢下降到最小值附近开始收敛以后，我们就得到了训练好的【逻辑回归预测模型】。

5.总结

  ① 我们从线性函数的角度入手；

  ② 为了能让线性函数表示成分类，得到了阶跃函数；

  ③ 为了能使用梯度下降优化算法求解w，我们找到了单调可微的sigmoid函数代替阶跃函数。

  ④ 为了求解方便，我们用最大似然估计简化了目标函数，得到对数似然函数，顺便定义了损失函数；

  ⑤ 最后使用gradient descent 不断更新w得到损失函数最小时模型的样子：逻辑回归预测模型(trained)。