logistic regression精简版笔记（重在体系和推导）

基础知识

• 关于sigmoid函数（参考之前的博文）
• softmax函数
  $\delta(Z_{j}) = \frac{{e}^{Z_j}}{\sum_{k=1}^{K}e^{Z_k}} \space j = 1,2,...,K$
• 极大似然估计
  
  • 原理
    样本作为总体的一个采样，使用样本进行分布参数$\theta$的估计，可以得到多个估计，极大似然选取关于$\theta$的最可能的值，即寻找一个$\theta$使当前采样的可能性最大。
  • 类别
    离散
    连续
• 回归的由来
  几率与对数几率。
  用线性回归模型的预测结果去逼近真实标记的对数几率。
• 评价
  1.直接对分类可能性建模，无需事先假设数据分布（避免了假设不准确所带来的问题）。
  2.得到的是类别的概率预测，模型的可解释性强。
  3.对率函数是任意阶可导的凸函数，方便优化求解。

二项逻辑回归（sigmoid regression）

• 分类模型
  $p(Y=1|x)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}}$
  $p(Y=0|x)=1-p(Y=1|x)=\frac{1}{1+e^{w^Tx+b}}$
  所谓的对数几率回归：$ln\frac{p(Y=1|x)}{p(Y=0|x)}=w^Tx+b$
• 参数估计与建模
  使用极大似然估计的思想。
  
  • 似然函数
    $l(w) = \prod_{i=1}^{n}p(yi|xi)$
    对于二分类问题，考虑到对立和互斥，有：
    $p(yi|xi)=[p(y_i=1|x_i)]^{y_i}[1-p(y_i=1|x_i)]^{1-y_i}=\theta(x_i)^{y_i}[1-\theta(x_i)]^{1-y_i} \space(\theta(x_i)=p(y_i=1|x_i))$
    则有：
    $l(w) = \prod_{i=1}^{n}p(yi|xi)=\prod_{i=1}^{n}\theta(x_i)^{y_i}[1-\theta(x_i)]^{1-y_i}$
    对数似然函数为：
    $Logl(w) =log\prod_{i=1}^{n}\theta(x_i)^{y_i}[1-\theta(x_i)]^{1-y_i}=\sum_{i=1}^{n}{y_i}log\theta(x_i)+(1-y_i)log(1-\theta(x_i))$(由此可定义交叉熵损失函数)
    又: $\theta(x_i)=p(y_i=1|x_i)=\frac{e^{w^Tx_i+b}}{1+e^{w^Tx_i+b}}=\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}}$
    则： $Logl(w)=\sum_{i=1}^{n}{y_i}log\theta(x_i)+(1-y_i)log(1-\theta(x_i))=\sum_{i=1}^{n}y_i(log\theta(x_i)-log(1-\theta(x_i)))+log(1-\theta(x_i))$
    $=\sum_{i=1}^{n}y_iloge^{\beta^Tx_i}+log(\frac{1}{1+e^{\beta^Tx_i}})$
    $=\sum_{i=1}^{n}y_i\beta^Tx_i-log(1+e^{\beta^Tx_i})$
  • 数学建模
    最大化上述的似然函数相当于最小化$-\frac{1}{n}logl(w)$,因此可定义损失函数为$J(y,\hat{y})=-\frac{1}{n}logl(\beta)=-\frac{1}{n}\sum_{i=1}^{n}y_i\beta^Tx_i-log(1+e^{\beta^Tx_i})$
    数学建模为：
    $minJ(y,\hat{y})$ ,无约束的优化问题。

多项逻辑回归（softmax regression）

• 分类模型
  $p(y=j| X,W) = \frac{{e}^{X^T{w_{j}}}}{\sum_{j=1}^{K}{e}^{X^T{w_{j}}}}\space j=1,...,k$
  写成矩阵的形式：
  
  考虑到参数冗余的性质：
  
  可以实现如下的转换，令$\psi=\theta_1$,则：
  $p(y=k| X,W) = \frac{1}{1+\sum_{j=1}^{k-1}{e}^{X^T{w_{j}}}}$
  $p(y=j| X,W) = \frac{{e}^{X^T{w_{j}}}}{1+\sum_{j=1}^{k-1}{e}^{X^T{w_{j}}}}$
  即一般的逻辑斯蒂回归形式，当k=2时即为2分类。
• 损失函数
  
  与二项逻辑回归的代价函数相比：
  
• 数学建模
  对损失函数加上正则项，代价函数变成严格的凸函数。
  
  转换成这样的优化问题：
  $minJ(\theta)$
  $s.t. \lambda>0$