逻辑回归基础知识

目录

• 逻辑回归损失函数推导
• 梯度下降法
• softmax

逻辑回归损失函数推导

     Logistic回归是二分类问题，即类标签种类等于2。我们假设现在有m个训练样本 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯ , ( x ( m ) , y ( m ) ) } \{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))\} {(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，其输入特征为x(i)∈$R^{n+1}$算上偏置，类标记为：y(i)∈{0,1}。

$${\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n=\sum _{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$$

    激活函数，使用sigmoid函数，在线性回归得到一个值，经过sigmoid函数映射，就完成了由值到概率的计算，也就是分类。
$$g(x)=\frac{1}{1+e^{-x}}$$

$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
    分类任务 ：$$\begin{array}{rl}P(y=1|x;\theta )& =h_{\theta }(x)\\ P(y=0|x;\theta )& =1-h_{\theta }(x)\end{array}$$
    整合：$$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
     解释：对于二分类任务(0,1),整合后y取0只保留$(1-h_{\theta }(x){)}^{1-y}$，y取1只保留$(h_{\theta }(x){)}^y$

    注意：
            逻辑回归使用极大似然估计的方法进行优化。

$$L(\theta )=\prod _{i=1}^{m}P(y_i|x_i;\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}$$
     对数似然：
$$l(\theta )=logL(\theta )=\sum _{i=1}^m(y_i\ast log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i)))$$

    注意：
         此时应使用梯度上升求最大值，引入$J(\theta )=-\frac{1}{m}l(\theta )$转为梯度下降的任务。

损失函数为交叉熵，使用交叉熵的好处，梯度下降可以在错误大的时候改变很大，错误小的更改小，如果使用最小二乘法，在错误或者正确修改的都很小甚至不修改。

梯度下降法

求导过程：
对每一个进行求偏导，每一个特征j表示每一个特征,i表示每一个样本
$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial {\theta }_j}& =-\frac{1}{m}\sum _{i=1}^m\left[y_i\frac{1}{h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j}-(1-y_i)\frac{1}{1-h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j}\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right]\frac{\partial g({\theta }^T{x}_i)}{\partial {\theta }_j}\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right]g({\theta }^T{x}_i)(1-g({\theta }^T{x}_i))\frac{\partial {\theta }^T{x}_i}{\partial {\theta }_j}\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y_i(1-g({\theta }^T{x}_i))-(1-y_i)g({\theta }^T{x}_i)\right]x_i^j\\ & =-\frac{1}{m}\sum _{i=1}^m(y_i-g({\theta }^T{x}_i))x_i^j\\ & =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j\end{array}$$

参数更新：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j$$

softmax原理

    Softmax是Logistic回归在多分类上的应用，即标签种类大于等于2。我们假设现在有m个训练样本 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯ , ( x ( m ) , y ( m ) ) } \{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))\} {(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，对于Softmax回归，其输入特征为：x(i)∈$R^{n+1}$，类标记为：y(i)∈{0,1,⋯n}。估计每一个样本所属的类别的概率p(y=j∣x)：
$$h_{\theta }(x^i)=\left[\begin{array}{c}p(y^i=1|x^i;\theta )\\ p(y^i=2|x^i;\theta )\\ ⋮\\ p(y^i=n|x^i;\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^n{e}^{{\theta }_j^T{x}^i}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^i}\\ e^{{\theta }_2^T{x}^i}\\ ⋮\\ e^{{\theta }_n^T{x}^i}\end{array}\right]$$
    对于每一个样本的概率，我们选取最大的就是样本分类，一般是ont-hot，
有几个类别长度就为几，对应分类的为1，其他为0。
$$\frac{e^{{\theta }_j^T{x}^i}}{{\sum }_{j=1}^n{e}^{{\theta }_j^T{x}^i}}$$