LR逻辑回归

1、为什么想到逻辑回归这种思想？
逻辑回归的前身为线性回归，线性回归可能输出很大范围的数，如从负无穷到正无穷。线性回归的拟合不好，比如无法抗噪声、无法消除冒尖变量的影响。所以在线性回归的基础上进行提升，将线性回归输出的数压缩到0-1之间，这样输出的值可被解释为“可能性”。实现这种功能只要在输出加一个logistic函数。（LR属于广义线性回归模型）

$$\sum_{i=0}^n i^2 = \frac{(n^2+n)(2n+1)}{6}$$
$$h_\theta (x) = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-\theta^T x}}$$

2、前提
需要知道sigmoid函数，将它与概率联系起来。
（知乎）https://www.zhihu.com/question/47744216?from=profile_question_card
用生物学角度考虑sigmoid函数。
假设sigmoid函数如下：

$$h(\theta) = P(Y=1|x) = \frac{1}{1 + e^{-z}}$$
其中 $z = w \cdot x^T,w=(w1,w2,...,w_n),x=(x1,x2,...,x_n)$

3、具体推导
①假设有n个独立的训练样本${(x_1,y_1),(x_2,y_2),...,(x_n,y_n)},y=\{0,1\}$
那么每一个观察到的样本$(x_i,y_i)$出现的概率是：
$P(x_i,y_i) = P(y_i=1|x_i)^{y_i}(1-P(y_i=1|x_i))^{(1-y_i)}$
②利用极大似然。
整个样本集，也就是n个独立的样本出现的似然函数为（因为每个样本都是独立的，所以n个样本出现的概率就是他们各自出现的概率相乘）：
$L(\Theta) = \prod P(y_i|x_i)^{y_i}(1-P(y_i=1|x_i))^{(1-y_i)}$
③对数转换，然后对 $\Theta$求导
$L(\Theta) = \prod P(y_i|x_i)^{y_i}(1-P(y_i=1|x_i))^{(1-y_i)}$
$=\sum_{i=1}^{n} y_i logp(y_i=1|x_i) + (1-y_i)log(1-p(y_i=1|x_i))$
$=\sum_{i=1}^{n} y_i log \frac {p(y_i=1|x_i)}{1-p(y_i=1)|x_i}+\sum_{i=1}^{n} log(1-p(y_i=1|x_i))$
$=\sum_{i=1}^{n} y_i(\theta_0+\theta_1x_1+...+\theta_mx_m)+ \sum_i^nlog(1-p(y_i=1|x_i))$
$=\sum_{i=1}^{n} y_i(\theta^Tx_i) - \sum_i^nlog(1+e^{\theta^Tx_i})$

这时候，用$L(\theta)$对$\theta$求导，得到：

$$\sum_i^ny_ix_i-\sum_i^n \frac{e^{\theta^Tx_i}}{1+e^{\theta^Tx_i}}=\sum_i^n(y_i-\alpha(\theta^Tx_i))$$
④使得导数为0
发现没办法直接求得，所以引入梯度下降

4、梯度下降
①普通梯度下降

$$\theta^{t+1} = \theta^t-\alpha\sum_i^n(y_i-\alpha(\theta^Tx_i))x_i$$
②随机梯度下降
对于随机梯度下降算法，做两处改动来避免普通梯度下降可能产生的波动问题
1)在每次迭代时，调整更新步长 $\alpha$ 值。对着迭代的进行， $\alpha$ 越来越小，这会缓解系数的高频波动。当然，为了避免 $\alpha$ 随着迭代不断缩小到接近0（这时候，系数几乎没有调整，那么迭代也没有意义了），约束 $\alpha$ 一定大于一个稍微大点的常数项。
2)每次迭代，改变样本的优化顺序。也就是随机选择样本来更新回归系数。这样做可以减少周期性的波动，因为样本顺序的改变，使得每次迭代不再形成周期性。