1. 逻辑回归
要点:逻辑回归是分类模型还是回归模型,逻辑回归的概率分布如何表示,逻辑回归的模型是什么样的,逻辑回归如何进行参数估计,与线性回归的区别。
1.1 逻辑回归模型
逻辑回归模型是一类分类模型,由概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)表示。该情况下 Y Y Y取值为1或者0。二项逻辑回归模型是如下的条件分布概率:
P ( Y = 1 ∣ x ) = exp ( ω ⋅ x + b ) 1 + exp ( ω ⋅ x + b ) P ( Y = 0 ∣ x ) = 1 1 + exp ( ω ⋅ x + b ) P(Y=1|x) = \frac{\exp(\omega \cdot x + b)}{1 + \exp(\omega \cdot x + b)} \\ P(Y=0|x) = \frac{1}{1 + \exp(\omega \cdot x + b)} P(Y=1∣x)=1+exp(ω⋅x+b)exp(ω⋅x+b)P(Y=0∣x)=1+exp(ω⋅x+b)1
逻辑回归模型提到,其输出 Y Y Y的对数几率是由输入 x x x的线性函数表示的模型。由几率的定义: l o g i t ( p ) = p