指数族分布，广义线性模型，线性回归，LR

指数族分布

$$p(x;\eta)=b(x)e^{(\eta^TT(x)+\alpha(\eta))}$$

广义线性模型

1.待遇测变量 \(y\) 在给定 \(x\) 和参数 \(\theta\) 时服从以 \(\eta\) 为参数的指数族分布

2.模型的目的是预测给定 \(x\) 情况下 \(y\) 的期望

3.\(\eta=\theta^Tx\),若 \(\eta\) 为向量，则 \(\eta_i=\theta_i^Tx\)

线性回归

假设待遇测变量 \(y\) 服从方差为1的高斯分布

$$\begin{align}p(y|\mu,x)=&\frac{1}{\sqrt{2\pi}}e^{-\frac{(y-\mu)^2}{2}}\\ =& \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y^2}e^{(\mu y-\frac{1}{2}\mu^2)}\end{align}$$

可得

$$b(y)=\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y^2}$$

$$\eta=\mu$$

$$\alpha(\eta)=-\frac{1}{2}\eta^2$$

因此

$$p(y|\theta,x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{(y-\theta^Tx)^2}{2}}$$

给定训练样本，由最大似然即可得到线性回归的目标函数

$$J=\sum_i(y_i - \theta^Tx_i)^2$$

逻辑回归（LR）

逻辑回归假定待预测变量服从伯努利分布

$$\begin{align}p(y|x,\varphi)=&\varphi^y(1-\varphi)^{(1-y)}\\ =& e^{ylog\frac{\varphi}{1-\varphi}-log(1-\varphi)}\end{align}$$

可得

$$b(y)=1$$

$$\eta=log\frac{\varphi}{1-\varphi}$$

$$\alpha(\eta)=-log(1-\varphi)$$

可推导出

$$p(y|\theta,x)=sigmoid(\theta^Tx)$$

给定训练样本由最大似然即可得到逻辑回归的目标函数

$$J=\sum_i [y_i(\theta^Tx)-log(1+e^{\theta^Tx_i})]$$