Machine Learning_Logistic Regression&Sigmoid Function的数学推导

• Logistic Regression假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

• Logistic/Sigmoid Function可以通过广义线性模型推导得到。

---

Logistic Regression推导

因为要解决二分类问题，我们利用logistic function将线性模型映射到$(0,1)$之间：

$$h_\theta(x) = g(\theta^Tx) = \frac{1}{1+e^{-\theta^T x}}$$
其中，
$$g(z) = \frac{1}{1+e^{-z}}$$
被称为 logistic function或 sigmoid function。

概率分布表示为：

$$P(y=1 | x;\theta) = h_{\theta}(x) \\ P(y=0 | x;\theta) = 1 - h_{\theta}(x)$$
即:
$$p(y|x;\theta) = h_{\theta}(x)^y (1-h_{\theta}(x))^{1-y}$$

如果有m个训练样本，则最大似然函数为：

$$L(\theta) = \prod_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta) = \prod_{i=1}^{m}h_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$$
取对数似然函数，有：
$$l(\theta) = logL(\theta) = \sum_{i=1}^{m}y^{(i)}logh_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))$$

利用随机梯度下降法，迭代求解有：

$$\theta := \theta + \alpha \nabla_{\theta}l(\theta)$$
(Tips: 由于是MAX，所以是加号；MIN时，用减号)
$$\frac{\partial}{\partial \theta_j} l(\theta) = [y \frac{1}{g(\theta^T x)} - (1-y)\frac{1}{1-g(\theta^T x)}] \frac{\partial}{\partial \theta_j} g(\theta^T x) \\ = (y-h_{\theta}(x))x_j$$

故，

$$\theta_j := \theta_j + \alpha (y^{(i)}-h_{\theta}(x^{(i)}))x_j^{(i)}$$

Sigmoid函数/Logistic函数

$$g(z) = \frac{1}{1+e^{-z}}$$

$$g'(z) = \frac{d}{dz} \frac{1}{1+e^{-z}} = g(z)(1-g(z))$$

---

Logistic/Sigmoid Function推导

• 做回归，线性回归时，我们假设数据符合高斯分布：$y|x;\theta \sim \mathcal N(\mu, \sigma^2)$
• 做分类，逻辑回归时，我们假设数据符合伯努利分布：$y|x;\theta \sim Bernoulli(\phi)$

其实，两者都属于广义线性模型（GLM）

广义线性模型(Generalized Linear Model, GLM)

• 指数族分布(Exponential family distribution)
  

  $$p(y;\eta) = b(y)exp(\eta^T T(y)-a(\eta))$$

• 伯努利分布

  • 逻辑回归中，
    $$p(y|x;\theta) = h_{\theta}(x)^y (1-h_{\theta}(x))^{1-y}$$
  • 记$h_{\theta}(x) = g(\theta^T x) = \phi$，则有：
    $$p(y;\phi) = \phi ^y (1-\phi)^{1-y} = exp(y log\phi + (1-y)log(1-\phi))\\ = exp(log(\frac{\phi}{1-\phi})y + log(1-\phi))$$
  • 有：
    $$b(y) = 1\\ \eta = log\frac{\phi}{1-\phi}\\ T(y) = y\\ a(\eta) = -log(1-\phi)=log(1+e^{\eta})$$

• 高斯分布，令$\sigma^2=1$
  

  $$p(y;\mu) = \frac{1}{\sqrt {2\pi}}exp(-\frac{1}{2}(y-\mu)^2)\\ =\frac{exp(-\frac{1}{2}y^2)}{\sqrt {2\pi}}·exp(\mu y - \frac{1}{2}\mu^2)$$
  • 有：
    $$b(y) = \frac{exp(-\frac{1}{2}y^2)}{\sqrt {2\pi}}\\ \eta = \mu\\ T(y) = y\\ a(\eta) = \mu^2 /2 = \eta^2 /2$$

广义线性模型需要满足的三个条件

• $y|x;\theta \sim ExponentialFamily(\eta)$
• 给定一个$x$，我们需要预测$T(y)$，一般来说$T(y) = y$，也就是我们需要通过学习学得一个假设$h$，$h(x) = E[y|x]$
• The natural parameter $\eta$和输入$x$是线性相关的，$\eta = \theta^T x$

推导得到Logistic/Sigmoid Function

• 在逻辑回归中，我们希望学到的假设$h$，有：
  $$h_{\theta}(x)=E[y|x;\theta]=\phi$$
• 由GLM我们知道有：
  $$\eta = log\frac{\phi}{1-\phi}$$
  可推出：
  $$\phi = \frac{1}{1+e^{-\eta}} = \frac{1}{1+e^{-\theta^T x}}$$