机器学习复习之逻辑斯蒂回归以及决策树

1. 逻辑回归

要点：逻辑回归是分类模型还是回归模型，逻辑回归的概率分布如何表示，逻辑回归的模型是什么样的，逻辑回归如何进行参数估计，与线性回归的区别。

1.1 逻辑回归模型

逻辑回归模型是一类分类模型，由概率分布$P(Y|X)$表示。该情况下$Y$取值为1或者0。二项逻辑回归模型是如下的条件分布概率：
$$\begin{gathered} P(Y=1|x)=\frac{\exp (\omega \cdot x+b)}{1+\exp (\omega \cdot x+b)} \\ P(Y=0|x)=\frac{1}{1+\exp (\omega \cdot x+b)} \end{gathered}$$
逻辑回归模型提到，其输出$Y$的对数几率是由输入$x$的线性函数表示的模型。由几率的定义： l o g i t ( p ) = p