第五章 逻辑回归

一 逻辑回归定义

---

logistic	二分类
softmax	多分类
策略	对数似然函数
算法	梯度下降或拟牛顿法
假设	伯奴利分布

逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性

**Logistic 回归的本质是：**假设数据服从这个分布，然后使用极大似然估计做参数的估计

逻辑回归与线性回归关系：

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题

二 假设函数（Hypothesis function）

---

2.1 Sigmoid函数

---

• 首先我们要先介绍一下Sigmoid函数，也称为逻辑函数（Logistic function）

分布函数和密度函数:
$$F(x)=P(X⩽x)=\frac{1}{1+\exp (-(x-\mu )/\gamma )}$$

$$f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma (1+{\mathrm{e}}^{-(x-\mu )/\gamma {)}^2}}$$

式中，$\mu$为位置参数，$\gamma$>0为形状参数

关于逻辑斯谛， 更常见的一种表达是Logistic function
$$\sigma (z)=\frac{1}{1+\exp (-z)}$$

这个函数把实数域映射到(0, 1)区间，这个范围正好是概率的范围， 而且可导，对于0输入， 得到的是0.5，可以用来表示等可能性

其函数曲线如下：

从上图可以看到sigmoid函数是一个s形的曲线，它的取值在[0, 1]之间，在远离0的地方函数的值会很快接近0或者1。它的这个特性对于解决二分类问题十分重要

2.2 假设函数

---

逻辑回归的假设函数形式如下：
$$h_{\theta }(x)=g({\theta }^{T}x),g(z)=\frac{1}{1+e^{-z}}$$

对于g(z):
$$\begin{array}{rl}{g}^{\prime }(z)& ={\left(\frac{1}{1+e^{-z}}\right)}^{\prime }=\frac{e^{-z}}{{\left(1+e^{-z}\right)}^2}\\ & =\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}=\frac{1}{1+e^{-z}}\cdot \left(1-\frac{1}{1+e^{-z}}\right)\\ & =g(z)\cdot (1-g(z))\end{array}$$

因此:

$$h_{\theta }(x)=\frac{1}{1+e^{-\theta Tx}}$$

其中$x$是我们的输入，$\theta$为我们要求取的参数

三 对数几率函数

---

$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$

$$ln\frac{y}{1-y}=w^{T}x+b$$

我们将 y 视为 x 为正例的概率，则 1-y 为 x 为其反例的概率。两者的比值称为几率（odds），指该事件发生与不发生的概率比值，若事件发生的概率为 p。则对数几率：
$$ln(odds)=ln\frac{y}{1-y}$$

关于几率的由来及几个问题：

数学之美中有这样一个公式
$$f(z)=\frac{e^z}{e^z+1}=\frac{1}{1+e^{-z}}$$
然后几率和概率之间的关系有这样一种表达
$$\begin{gathered} o=\frac{p}{1-p} \\ p=\frac{o}{1+o} \end{gathered}$$
看上面红色部分, 逻辑斯谛分布对应了一种概率, 几率为指数形式 $e^z$, $z$ 为对数几率$logit$.

$$logit(p)=\log (o)=\log \frac{p}{1-p}$$
上面是对数几率的定义， 这里对应了事件， 要么发生， 要么不发生。所以逻辑斯谛回归模型就表示成
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=\log \frac{P(Y=1|x)}{P(Y=0|x)}=w\cdot x$$
上面红色部分留一下，后面推广到多类时候用到

将 y 视为类后验概率估计，重写公式有：
$$\begin{array}{c}{w}^{T}x+b=ln\frac{P(Y=1|x)}{1-P(Y=1|x)}\\ P(Y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}}\end{array}$$

也就是说，输出 Y=1 的对数几率是由输入 x 的线性函数表示的模型，这就是逻辑回归模型。当$w^{T}x+b$的值越接近正无穷， $P(Y=1|x)$概率值也就越接近 1。因此逻辑回归的思路是，先拟合决策边界(不局限于线性，还可以是多项式)，再建立这个边界与分类的概率联系，从而得到了二分类情况下的概率

对数几率的意义在哪

---

1. 直接对分类的概率建模，无需实现假设数据分布，从而避免了假设分布不准确带来的问题（区别于生成式模型）
2. 不仅可预测出类别，还能得到该预测的概率，这对一些利用概率辅助决策的任务很有用
3. 对数几率函数是任意阶可导的凸函数，有许多数值优化算法都可以求出最优解

四 决策函数

---

一个机器学习的模型，实际上是把决策函数限定在某一组条件下，这组限定条件就决定了模型的假设空间。当然，我们还希望这组限定条件简单而合理

而逻辑回归模型所做的假设是：

$$p=h_{\theta }\left(x\right)=g\left({\theta }^{\tau }x\right)=\frac{1}{1+e^{-{\theta }^{\tau }x}}$$

这个函数的意思就是在给定$x$和$\theta$的条件下y=1的概率

这里 g(ℎ) 就是我们上面提到的sigmoid函数，与之相对应的决策函数为：

$$y^{\ast }=1,ifP(y=1|x)>0.5$$

选择0.5作为阈值是一个一般的做法，实际应用时特定的情况可以选择不同阈值，如果对正例的判别准确性要求高，可以选择阈值大一些，对正例的召回要求高，则可以选择阈值小一些

五 决策边界（Decision Boundary）

---

• 决策边界，也称为决策面，是用于在N维空间，将不同类别样本分开的平面或曲面。

  注意：决策边界是假设函数的属性，由参数决定，而不是由数据集的特征决定。

5.1 线性决策边界

---

这里决策边界为:$-3+x_1+x_2=0$

5.2 非线性决策边界

---

这里决策边界为: $-1+x_1^2+x_2^2=0$

5.3 什么是决策边界

---

决策边界其实就是一个方程，在逻辑回归中，决策边界由${\theta }^{T}x=0$定义

六 假设函数和决策边界函数的区别与联系

---

1. 决策边界是假设函数的属性，由假设函数的参数（$\theta$）决定
2. 在逻辑回归中，假设函数 ℎ=g(z) 用于计算样本属于某类别的可能性
3. 决策函数$y^{\ast }=1,ifP(y=1|x)>0.5$用于计算（给出）样本的类别
4. 决策边界${\theta }^{T}x=0$是一个方程，用于标识出分类函数（模型）的分类边界

七 目标函数

---

7.1 代价函数（Cost Function）

---

在逻辑回归中，最常用的是代价函数是交叉熵(Cross Entropy)，交叉熵是一个常见的代价函数，在神经网络中也会用到

损失函数也作为一种衡量机器学习模型性能的指标，被广泛应用于分类、回归等各种机器学习模型的训练中

7.2 假设

---

$$\begin{array}{rl}& P(y=1|x;\theta )=h_{\theta }\left(x\right)\\ & P(y=0\mid x;\theta )=1-h_{\theta }\left(x\right)\\ & P(y\mid x;\theta )=\left(h_{\theta }\right(x\left){)}^y\right(1-h_{\theta }\left(x\right){)}^{(1-y)}\end{array}$$

服从伯努利分布

7.3 似然函数

---

$$\begin{array}{c}L\left(\theta \right)=p(\vec{y}|X;\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\\ =\prod _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)\right)}^{y^{(i)}}{\left(1-h_{\theta }\left(x^{(i)}\right)\right)}^{\left(1-y^{(i)}\right)}\end{array}$$

7.4 对数似然函数

---

$$\ell \left(\theta \right)=\ln L\left(\theta \right)=\sum _{i=1}^m\left(y^{(i)}\ln h_{\theta }\right(x^{(i)})+(1-y^{(i)}\left)\ln \right(1-h_{\theta }\left(x^{(i)}\right))$$

总的来说，对数似然函数加负号用作损失函数的情况是很常见的，这样做的目的是将最大化似然函数的问题转化为最小化损失函数的问题

八 梯度

---

$$\begin{array}{rl}\frac{\partial \ell \left(\theta \right)}{\partial {\theta }_j}& =\sum _{i=1}^m\left(\frac{y^{(i)}}{h_{\theta }\left(x^{(i)}\right)}-\frac{1-y^{(i)}}{1-h_{\theta }\left(x^{(i)}\right)}\right)\cdot \frac{\partial h_{\theta }\left(x^{(i)}\right)}{\partial {\theta }_j}\\ & =\sum _{i=1}^m\left(\frac{y^{(i)}}{g\left({\theta }^T{x}^{(i)}\right)}-\frac{1-y^{(i)}}{1-g\left({\theta }^T{x}^{(i)}\right)}\right)\cdot \frac{\partial g\left({\theta }^T{x}^{(i)}\right)}{\partial {\theta }_j}\\ & =\sum _{i=1}^m[\frac{y^{(i)}}{\mathbf{g}\left({\theta }^T{x}^{(i)}\right)}-\frac{1-y^{(i)}}{1-\mathbf{g}\left({\theta }^T{x}^{(i)}\right)})\cdot \text{g}\left({\theta }^T{x}^{(i)}\right)(1-g({\theta }^T{x}^{(i)}\left)\right)\cdot \frac{\partial {\theta }^T{x}^{(i)}}{\partial {\theta }_j}\\ & =\sum _{i=1}^n\left(y^{(i)}\left(1-g\left({\theta }^r{x}^{(i)}\right)\right)-\left(1-y^{(i)}\right)g\left({\theta }^r{x}^{(i)}\right)\right)\cdot x_j^{(i)}\\ & =\sum _{i=1}^n\left(y^{(i)}-g\left({\theta }^r{x}^{(i)}\right)\right)\cdot x_j^{(i)}\end{array}$$

1. 二分类问题（使用 sigmoid 激活函数）

在二分类问题中，我们假设模型使用 sigmoid 激活函数，即 h(x) = σ(z)，其中 z = θ^T * x 是模型的线性输出，σ(z) = 1 / (1 + exp(-z)) 是 sigmoid 函数对于 sigmoid 函数，其导数可以表示为 σ'(z) = σ(z) * (1 - σ(z))。

将这些信息代入偏导数的公式中，可以得到：

dJ(θ)/dθ = -1/m * ∑[ (y/h(x) - (1-y)/(1-h(x))) * h(x) * (1 - h(x)) * x ]

化简后可得：

dJ(θ)/dθ = 1/m * ∑[ (h(x) - y) * x ]

其中，h(x) 是模型的预测结果，y 是实际结果（0或1），x 是输入特征

2. 多分类问题（使用 softmax 激活函数）

在多分类问题中，我们假设模型使用 softmax 激活函数，即 h_k(x) = softmax(z)_k，其中 z = θ^T * x 是模型的线性输出，softmax(z) 是 softmax 函数对于 softmax 函数，其导数可以表示为 softmax'(z)_k = softmax(z)_k * (1 - softmax(z)_k)

将这些信息代入偏导数的公式中，可以得到：

dJ(θ)/dθ = 1/m * ∑[ (h_k(x) - y_k) * x ]

其中，h_k(x) 是模型的预测结果，y_k 是实际结果的第 k 个类别的概率（0或1），x 是输入特征

有了导数和学习率就可以使用梯度下降算法（Gradient Descent Algorithm）更新参数了

$${\theta }_j={\theta }_j-\alpha (\frac{\partial }{\partial {\theta }_j})J(\theta )={\theta }_j-\alpha (\frac{1}{m})\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

九 Softmax回归

---

9.1 什么是 softmax 回归？

softmax 回归(softmax regression)其实是 logistic 回归的一般形式，logistic 回归用于二分类，而 softmax 回归用于多分类

对于输入数据$\{(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)\}$有k个类别，即 y i ∈ { 1 , 2 , … , k } . y_{i}\in\{1,2,\ldots,k\}. yi​∈{1,2,…,k}.，那么 softmax 回归主要估算输入数据$x_i$归属于每一类的概率，即:
$$h_{\theta }\left(x_i\right)=\left[\begin{array}{c}p\left(y_i=1|x_i;\theta \right)\\ p\left(y_i=2|x_i;\theta \right)\\ ⋮\\ p\left(y_i=k|x_i;\theta \right)\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}_i}}\left[\begin{array}{c}{e}^{{\theta }_i^T{x}_i}\\ e^{{\theta }_i^T{x}_i}\\ ⋮\\ e^{{\theta }_i^T{x}_i}\end{array}\right]$$
其中，${\theta }_1,{\theta }_2,\dots ,{\theta }_k\in {\theta }_i$是模型的参数，乘以$\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}_i}};$是为了让概率位于[0,1]并且概率之和为 1，softmax 回归将输入数据$x$归属于类别$j$的概率为:
$$p\left(y_i=j|x_i;\theta \right)=\frac{e^{{\theta }_j^T{x}_i}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}_i}}$$

9.2 推到及原理

---

计算$K-1$种可能的取值发生的概率相对取值$K$发生的概率的比值， 假设其取对数的结果是$x$的线性模型， 有
$$\begin{array}{rl}\ln \frac{P(Y=1|x)}{P(Y=K|x)}& =w_1\cdot x\\ \ln \frac{P(Y=2|x)}{P(Y=K|x)}& =w_2\cdot x\\ \cdots & \\ \ln \frac{P(Y=K-1|x)}{P(Y=K|x)}& =w_{K-1}\cdot x\end{array}$$
得到取值$1,2，\dots ,K-1$的概率表示
$$\begin{array}{rl}P(Y=1|x)& =P(Y=K|x)\exp (w_1\cdot x)\\ P(Y=2|x)& =P(Y=K|x)\exp (w_2\cdot x)\\ \cdots & \\ P(Y=K-1|x)& =P(Y=K|x)\exp (w_{K-1}\cdot x)\\ P(Y=k|x)& =P(Y=K|x)\exp (w_k\cdot x),k=1,2,\dots ,K-1\end{array}$$
有$K$种可能取值概率和为1，可以得到下面推导
$$\begin{array}{rl}P(Y=K|x)& =1-\sum _{j=1}^{K-1}P(Y=j|x)\\ & =1-P(Y=K|x)\sum _{j=1}^{K-1}\exp (w_j\cdot x)\\ & =\frac{1}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)}\end{array}$$
所以之前红色部分的表达可以表示为
$$\begin{array}{rl}P(Y=k|x)& =P(Y=K|x)\exp (w_k\cdot x),k=1,2,\dots ,K-1\\ & =\frac{1}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)}\exp (w_k\cdot x),k=1,2,\dots ,K-1\\ & =\frac{\exp (w_k\cdot x)}{1+{\sum }_{j=1}^{K-1}\exp (w_j\cdot x)},k=1,2,\dots ,K-1\end{array}$$

这里公式和书上有点区别， 求和的用了$j$表示， 感觉不太容易造成误解。

对数线性模型：

假设归一化因子$Z$， 有如下关系
$$\begin{array}{rl}\ln (ZP(Y=k|x))& =w_k\cdot x,k=1,2,\dots ,K\\ P(Y=k|x)& =\frac{1}{Z}\exp (w_k\cdot x),k=1,2,\dots ,K\end{array}$$
又对所有的$P(Y=k|x)$可以形成概率分布， 有
$$\begin{array}{rl}\sum _{k=1}^{K}P(Y=k|x)& =1\\ & =\sum _{k=1}^K\frac{1}{Z}\exp (w_k\cdot x)\\ & =\frac{1}{Z}\sum _{k=1}^K\exp (w_k\cdot x)\end{array}$$
得到
$$Z=\sum _{k=1}^K\exp (w_k\cdot x)$$
所以
$$P(Y=k|x)=\frac{1}{Z}\exp (w_k\cdot x)=\frac{\exp (w_k\cdot x)}{{\sum }_{k=1}^K\exp (w_k\cdot x)},k=1,2,\dots ,K$$
上面这个叫Softmax，针对多项的情况也叫Softmax Regression。
$$\begin{array}{c}p(y=k\mid x;\theta )=\frac{e^{{\theta }_i^{r}x}}{{\sum }_{i=1}^K{e}^{{\theta }_i^{r}x}},k=1,2\cdots ,K\\ h_{\theta }(x)=\left[\begin{array}{c}p\left(y^{(i)}=1|x^{(i)},\theta \right)\\ p\left(y^{(i)}=2|x^{(i)};\theta \right)\\ ...\\ p\left(y^{(i)}=k|x^{(i)};\theta \right)\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }^j{x}^{(i)}}}\left[\begin{array}{c}{e}^{{\theta }_2^{r}x}\\ e^{{\theta }_2^{r}x}\\ ...\\ e^{{\theta }_2^{r}x}\\ e^{{\theta }_2^{r}x}\end{array}\right]⟹\theta =\left[\begin{array}{cccc}{\theta }_1& {\theta }_j& \dots & {\theta }_n\\ \dots & {\theta }_2& \dots & \dots \\ \dots & \dots & \dots & \\ {\theta }_{i1}& \dots & \dots & \dots \\ {\theta }_{i1}& \dots & \dots & \dots \\ {\theta }_{i1}& \dots & \dots & \dots \end{array}\right]\end{array}$$

9.3 定义代价函数

---

$$\theta =\left[\begin{array}{c}{\theta }_1^T\\ {\theta }_2^T\\ ⋮\\ {\theta }_k^T\end{array}\right]$$

$$J\left(\theta \right)=-\frac{1}{m}\sum _{j=1}^m\sum _{j=1}^{k}I(y^{(i)}=j)\ln \left(\frac{e^{{\theta }^j}{x}^{(i)}}{{\sum }_{i=1}^k{e}^{{\theta }^j}{x}^{(i)}}\right)I(y^{(i)}=j)=\{\begin{array}{ll}1,& y^{(i)}=j\\ 0,& y^{(i)}=j\end{array}$$

9.4 利用梯度下降法最小化代价函数

---

网页推导:

∂ L ( θ ) ∂ θ j = − 1 m ∂ ∂ θ j [ ∑ i = 1 m ∑ j = 1 k 1 { y i = j } log ⁡ e θ j T x i ∑ l = 1 k e θ l T x i ] = − 1 m ∂ ∂ θ j [ ∑ i = 1 m ∑ j = 1 k 1 { y i = j } ( θ j T x i − log ⁡ ∑ l = 1 k e θ l T x i ) ] = − 1 m [ ∑ i = 1 m 1 { y i = j } ( x i − ∑ j = 1 k e θ j T x i ⋅ x i ∑ l = 1 k e θ l T x i ) ] = − 1 m [ ∑ i = 1 m x i 1 { y i = j } ( 1 − ∑ j = 1 k e θ j T x i ∑ l = 1 k e θ l T x i ) ] = − 1 m [ ∑ i = 1 m x i ( 1 { y i = j } − ∑ j = 1 k 1 { y i = j } e θ j T x i ∑ l = 1 k e θ l T x i ) ] = − 1 m [ ∑ i = 1 m x i ( 1 { y i = j } − e θ j T x i ∑ l = 1 k e θ l T x i ) ] = − 1 m [ ∑ i = 1 m x i ( 1 { y i = j } − p ( y i = j ∣ x i ; θ ) ) ] (5) \begin{aligned} \frac{\partial L(\theta)}{\partial \theta_{j}} &=-\frac{1}{m} \frac{\partial}{\partial \theta_{j}}\left[\sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y_i=j\right\} \log \frac{e^{\theta_{j}^{T} x_i}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}}\right] \\ &=-\frac{1}{m} \frac{\partial}{\partial \theta_{j}}\left[\sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y_i=j\right\}\left(\theta_{j}^{T} x_i-\log \sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}\right)\right] \\ &=-\frac{1}{m}\left[\sum_{i=1}^{m} 1\left\{y_i=j\right\}\left(x_i-\sum_{j=1}^{k} \frac{e^{\theta_{j}^{T} x_i} \cdot x_i}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}}\right)\right] \\ &=-\frac{1}{m}\left[\sum_{i=1}^{m} x_i1\left\{y_i=j\right\}\left(1-\sum_{j=1}^{k} \frac{e^{\theta_{j}^{T} x_i}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}}\right)\right] \\ &=-\frac{1}{m}\left[\sum_{i=1}^{m} x_i\left(1\left\{y_i=j\right\}-\sum_{j=1}^{k} 1\left\{y_i=j\right\} \frac{e^{\theta_{j}^{T} x_i}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}}\right)\right] \\ &=-\frac{1}{m}\left[\sum_{i=1}^{m} x_i\left(1\left\{y_i=j\right\}- \frac{e^{\theta_{j}^{T} x_i}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x_i}}\right)\right] \\ &=-\frac{1}{m}\left[\sum_{i=1}^{m} x_i\left(1\left\{y_i=j\right\}-p\left(y_i=j | x_i ; \theta\right)\right)\right] \end{aligned}\tag{5} \\ ∂θj​∂L(θ)​​=−m1​∂θj​∂​[i=1∑m​j=1∑k​1{yi​=j}log∑l=1k​eθlT​xi​eθjT​xi​​]=−m1​∂θj​∂​[i=1∑m​j=1∑k​1{yi​=j}(θjT​xi​−logl=1∑k​eθlT​xi​)]=−m1​[i=1∑m​1{yi​=j}(xi​−j=1∑k​∑l=1k​eθlT​xi​eθjT​xi​⋅xi​​)]=−m1​[i=1∑m​xi​1{yi​=j}(1−j=1∑k​∑l=1k​eθlT​xi​eθjT​xi​​)]=−m1​[i=1∑m​xi​(1{yi​=j}−j=1∑k​1{yi​=j}∑l=1k​eθlT​xi​eθjT​xi​​)]=−m1​[i=1∑m​xi​(1{yi​=j}−∑l=1k​eθlT​xi​eθjT​xi​​)]=−m1​[i=1∑m​xi​(1{yi​=j}−p(yi​=j∣xi​;θ))]​(5)

李强课件:

$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J\left(\theta \right)& =\frac{\partial }{\partial {\theta }_j}-I(y^{(i)}=j)\ln \left(\frac{e^{{\theta }_j^{\tau }{x}^{(i)}}}{{\sum }_{i=1}^k{e}^{{\theta }_j^{\tau }{x}^{(i)}}}\right)\\ & =\frac{\hat{\sigma }}{\hat{\sigma }{\theta }_j}-I(y^{(i)}=j({\theta }_j^T{x}^{(i)}-\ln \left(\sum _{i=1}^k{e}^{{\theta }_i^T{x}^{(i)}}\right))\\ & =-I(y^{(i)}=j(1-\frac{e^{{\theta }_j^T{x}^{(i)}}}{{\sum }_{i=1}^k{e}^{{\theta }_i^T{x}^{(i)}}})x^{(i)}\end{array}$$

9.5 迭代

---

$$\begin{array}{c}{\theta }_j={\theta }_j+\alpha \sum _{i=1}^{n}I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta )\left)\right)x^{(i)}\\ {\theta }_i={\theta }_j+\alpha I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta ))x^{(i)}\end{array}$$

十 Softmax的冗余性

---

假设我们从参数向量${\theta }_j$中减去向量$\psi$，那么对于概率函数，我们有:

$$\begin{array}{rl}\left(y_i=j|x_i;\theta \right)& =\frac{e^{{\left({\theta }_j-\psi \right)}^T{x}_i}}{{\sum }_{l=1}^k{e}^{{\left({\theta }_l-\psi \right)}^T{x}_i}}\\ & =\frac{e^{{\theta }_j^T{x}_i}{e}^{-{\psi }^T{x}_i}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}_i}{e}^{-{\psi }^T{x}_i}}\\ & =\frac{e^{{\theta }_j^T{x}_i}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}_i}}\end{array}$$

从参数向量中的每个元素${\theta }_j$中减去$\psi$一点也不会影响到假设的类别预测！这表明了 softmax 回归的参数中是有多余的。正式地说， softmax 模型是过参数化的（ overparameterized 或参数冗余的），这意味着对任何一个拟合数据的假设而言，多种参数取值有可能得到同样的假设$h_{\theta }$，即从输入x经过不同的模型参数的假设计算从而得到同样的分类预测结果

十一 softmax 与 logistic 回归的关系

---

softmax 回归是 logistic 回归的一般形式，logistic 回归是 softmax 回归在k=2 时的特殊形式，下面通过公式推导来看下当k=2 时 softmax 回归是如何退化成 logistic 回归。

• 当k=2 时，softmax 回归的假设函数为:

  $$h_{\theta }\left(x_i\right)=\left[\begin{array}{c}p\left(y_i=1|x_i;\theta \right)\\ p\left(y_i=2|x_i;\theta \right)\end{array}\right]=\frac{1}{e^{{\theta }_1^T{x}_i}+e^{{\theta }_2^T{x}_i}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}_i}\\ e^{{\theta }_2^T{x}_i}\end{array}\right]$$

  前面说过 softmax 回归的参数具有冗余性，从参数向量${\theta }_1,{\theta }_2$中减去向量${\theta }_1$完全不影响结果。现在我们令 $\begin{array}{rl}{\theta }^{\prime }=& {\theta }_2-{\theta }_1\end{array}$，并且两个参数向量都减去${\theta }_1$，则有:
  $$\begin{array}{rl}{h}_{\theta }(x_i)& =\frac{1}{e^{{\theta }^T{x}_i}+e^{{\left({\theta }_2-{\theta }_1\right)}^T{x}_i}}\left[\begin{array}{c}{e}^{{\theta }^T{x}_i}\\ e^{{\left({\theta }_2-{\theta }_1\right)}^T{x}_i}\end{array}\right]\\ & =\left[\begin{array}{l}\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T{x}_i}}\\ \frac{e^{({\theta }_2-{\theta }_1{)}^T{x}_i}}{1+e^{({\theta }_2-{\theta }_1{)}^T{x}_i}}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T{x}_i}}\\ 1-\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T{x}_i}}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{1}{1+e^{({\theta }^{\prime }{)}_{x_i}^T}}\\ 1-\frac{1}{1+e^{({\theta }^{\prime }{)}_{x_i}^T}}\end{array}\right]\end{array}$$
  这样就化成了 logistic 回归

十二 总结

---

李强课件：

1. 线性模型一般用于回归问题，Logistic和Softmax模型一般用于分类问题
2. 求θ的主要方式是梯度下降算法，梯度下降算法是参数优化的重要手段，主要是SGD，适用于在线学习以及跳出局部极小值
3. Logistic/Softmax回归是实践中解决分类问题的最重要的方法
4. 广义线性模型对样本要求不必要服从正态分布、只需要服从指数分布簇(二项分布、泊松分布、伯努利分布、指数分布等)
5. 广义线性模型的自变量可以是连续的也可以是离散的

广义线性模型（Generalized Linear Model，简称GLM）是一种用于建模和分析数据的统计模型。它是对线性回归模型的推广和扩展，适用于不满足线性回归假设的数据

---

softmax和logistic回归是两种常用的分类算法，它们在一些方面有相似之处，但也有一些不同之处。

相似之处：

1. 目标函数形式：softmax回归和logistic回归都是基于最大似然估计的方法，目标是最大化预测的概率。
2. 输出形式：softmax回归和logistic回归都可以输出概率值，用于表示样本属于不同类别的概率。

不同之处：

多类别分类与二分类：softmax回归适用于多类别分类问题，可以将样本分到多个不同的类别中，而logistic回归适用于二分类问题，将样本分为两个类别。

1. 参数个数：softmax回归的参数个数与类别数相关，参数矩阵的列数等于类别数；而logistic回归的参数个数与特征数相关，参数矩阵的列数等于特征数。
2. 输出形式：softmax回归的输出是一个概率分布向量，每个元素表示样本属于对应类别的概率；logistic回归的输出是一个概率值，表示样本属于正类的概率。
3. 损失函数：softmax回归使用交叉熵损失函数，而logistic回归使用对数损失函数。

---

---