机器学习算法整理（二）

LR算法

逻辑回归主要用于二元分类问题，逻辑函数为
$$f(x;\theta )=\frac{1}{1+e^{-{\theta }^{T}x}}$$
推导损失函数：
$$P(y=1|x;\theta )=f(x;\theta )=\frac{1}{1+e^{-{\theta }^{T}x}}$$$$P(y=0|x;\theta )=1-P(y=1|x;\theta )$$
每个样本相互独立，则似然函数为：
L ( θ ) = ∏ i ∈ { 1 , … , N } . y ( i ) = 1 P ( y = 1 ∣ x ( i ) ; θ ) ⋅ ∏ i ∈ { 1 , … , N } . y ( i ) = 0 P ( y = 0 ∣ x ( i ) ; θ ) L(\theta) = \prod_{i\in\{1,\ldots,N\}.y^{(i)}=1}P(y = 1|x^{(i)};\theta) \cdot\prod_{i\in\{1,\ldots,N\}.y^{(i)}=0}P(y = 0|x^{(i)};\theta) L(θ)=i∈{1,…,N}.y(i)=1∏​P(y=1∣x(i);θ)⋅i∈{1,…,N}.y(i)=0∏​P(y=0∣x(i);θ) L ( θ ) = ∏ i ∈ { 1 , … , N } . y ( i ) = 1 P ( y = 1 ∣ x ( i ) ; θ ) ⋅ ∏ i ∈ 1 , … , N } . y ( i ) = 0 ( 1 − P ( y = 1 ∣ x ( i ) ; θ ) ) L(\theta) = \prod_{i\in\{1,\ldots,N\}.y^{(i)}=1}P(y = 1|x^{(i)};\theta) \cdot\prod_{i\in{1,\ldots,N\}.y^{(i)}=0}}(1-P(y = 1|x^{(i)};\theta)) L(θ)=i∈{1,…,N}.y(i)=1∏​P(y=1∣x(i);θ)⋅i∈1,…,N}.y(i)=0∏​(1−P(y=1∣x(i);θ))对其取对数：
$$J(\theta )=-lnL(\theta )=-\sum _{i=1}^N{y}^{(i)}ln(P(y=1|x^{(i)};\theta ))+(1-y^{(i)})ln(1-P(y=1|x^{(i)};\theta ))$$

梯度下降法：

对于$f(z)=\frac{1}{1+e^z}$的导函数是$f^{\prime }(z)=f(z)(1-f(z))$
链式求导法则求得参数$\theta$：
$$\theta =\theta -\alpha \cdot (f(x_i;\theta )-y_i)x_i$$

算法优化：随机梯度下降法

当大数据量时，上述方法需要遍历所有样本，造成梯度下降缓慢。
随机梯度下降是根据步长选择一部分样本进行梯度下降，再向最优点前进，最终在最优点附近震荡。

实践

代码练习Titanic