ML---逻辑回归

1. 用途

是分类算法不是回归算法，用于二分类或多分类。回归模型的$Y$是连续的，分类模型的$Y$是离散的。

2. 模型形式

$$h_{\theta }(X)=\frac{1}{1+e^{-X\theta }}$$

• $X$：模型的特征输入，维度为$m\times n$，m个样本.
• $h_{\theta }(x)$：模型输出，可以理解为某一分类的概率大小，维度为$m\times 1$.
• $\theta$：模型要求的参数，维度为$n\times 1$.

3. 损失函数

令$P(y=1|x,\theta )=h_{\theta }(x)$，$P(y=0|x,\theta )=1-h_{\theta }(x)$，那么可得$y$的概率分布函数：
$$P(y|x,\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{(1-y)}$$
此时，可以利用“最大似然函数”的思想求解参数$\theta$：
$$L(\theta )=\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}$$
为了方便求解，对最大似然函数取对数得损失函数为：
$$J(\theta )=-logL(\theta )=-\sum _{i=1}^m[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$
其矩阵形式：$J(\theta )=-Y^{T}log{h}_{\theta }(X)-(E-Y{)}^{T}log(E-h_{\theta }(X))$

4. 损失函数优化

使用梯度下降法进行优化（本身应是使用梯度上升法最大化$L(\theta )$，但已对对数似然函数取反，因此使用梯度下降法最小化损失函数）：
$$\frac{\partial J(\theta )}{\partial \theta }=X^T(h_{\theta }(X)-Y)$$
或$$\frac{\partial J(\theta )}{\partial \theta }=(x^{(i)}{)}^T(h_{\theta }(x^{(i)})-y^{(i)})$$
那么，$\theta$每一步的迭代公式为：
$$\theta =\theta -\eta X^T(h_{\theta }(X)-Y)$$或者$$\theta =\theta -\eta (x^{(i)}{)}^T(h_{\theta }(x^{(i)})-y^{(i)})$$

5. 损失函数正则化

为防止过拟合，需要对损失函数进行正则化。

• 二元逻辑回归的L1正则化：
  $$J(\theta )=-\sum _{i=1}^m[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\alpha ||\theta |{|}_1$$
  $||\theta |{|}_1$为$\theta$的$L_1$范数。
• 二元逻辑回归的L2正则化：
  $$J(\theta )=-\sum _{i=1}^m[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{1}{2}\alpha ||\theta |{|}_2^2$$
  $||\theta |{|}_2$为$\theta$的$L_2$范数。

6. 多元逻辑回归

对于多分类问题逻辑回归的处理方式有：

• one-vs-rest，OvR
• Many-vs-Many，MvM
  (1) 最常用的是One-Vs-One（OvO），OvO是MvM的特例，每次选择两类样本来做二元逻辑回归。
  (2) MvM，类似softmax：
  $P(y=k|x,\theta )=\frac{e^{x{\theta }_k}}{1+{\sum }_{t=1}^{K-1}{e}^{x{\theta }_t}}$，$k=1,\dots ,K-1$
  $P(y=K|x,\theta )=\frac{1}{1+{\sum }_{t=1}^{K-1}{e}^{x{\theta }_t}}$
  以上两式满足${\sum }_{i=1}^{K}P(y=i|x,\theta )=1$

引用
https://www.cnblogs.com/pinard/p/6029432.html