Logistic regression逻辑回归·二分类算法【知识整理】

综述

学生党整理一些关于数据分析的知识：逻辑回归二分类算法的介绍及如何使用python完成该回归方法。

原理介绍

逻辑回归

逻辑回归是经典的二分类算法，非常常用。在机器学习算法选择上，考虑先使用逻辑回归算法再采用其他复杂的算法，能用简单的就用简单的。逻辑回归的决策边界可以是非线性的。

Sigmoid函数（核心）

• 公式：$$g(x)=\frac{1}{1+e^{-z}}$$
• 函数图像：
  
• 自变量为$(-\infty ,+\infty )$，值域为$(0,1)$
• 函数意义：将任意的输入映射到$(0,1)$区间。我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换，就实现了分类目的。

决策边界

• 边界示意图
  

• 预测函数：$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
  其中$${\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$$

• 分类任务：$$\begin{gathered} P(y=1|x;\theta )=h_{\theta }(x) \\ P(y=0|x;\theta )=1-h_{\theta }(x) \end{gathered}$$
  整合：$$P(y=1|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$

• 解释：对于二分类任务$(0,1)$，整合后 y