逻辑回归知识点简单总结v1

逻辑回归知识点

基础知识

1. 广义线性模型
2. sigmoid函数，求导
   $$f(x)=\frac{1}{1+e^{-z}}$$$$f(x{)}^{{}^{\prime }}=f(x)\ast (1-f(x))$$
3. 利用线性回归的预测值去逼近真实类别的对数几率
4. 利用极大似然使得每个样本属于其真实类别的概率最大化

损失函数和梯度下降

$$J(\theta )=-\frac{1}{m}\ast \sum [y_i\ast \ln (h_{\theta }(x_i))+(1-y_i)\ln (1-h_{\theta }(x_i))]$$$$\frac{\partial J(\theta )}{\partial \theta }=-\frac{1}{m}\sum [y_i-h_{\theta }(x_i)]\ast x_i$$

梯度计算与$h_{\theta }(x_i)$的导数无关，只与$h_{\theta }(x_i)$ 和$x_i$有关，因此不需要额外计算，参数更新速度快。