逻辑回归
比较经典的分类算法,目前工业界用到的最多的模型,很多场景下,都会用到逻辑回归。逻辑回归由于存在易于实现、解释性好以及容易扩展等优点,被广泛应用于点击率预估(CTR)、计算广告(CA)以及推荐系统(RS)等任务中。逻辑回归虽然名字叫做回归,但实际上却是一种分类学习方法。 线性回归完成的是回归拟合任务,而对于分类任务,我们同样需要一条线,但不是去拟合每个数据点,而是把不同类别的样本区分开来。
学习输入到输出的映射 f : X → Y f:X \rightarrow Y f:X→Y
X X X:输入
Y Y Y:输出
定义条件概率 P ( Y ∣ X ) P(Y|X) P(Y∣X),如何去表示 P ( Y ∣ X ) P(Y|X) P(Y∣X),这相当于用模型来捕获输入X和输出Y之间的关系。
条件概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)需要满足两个条件:
- 0 < = P ( Y ∣ X ) < = 1 0<=P(Y|X)<=1 0<=P(Y∣X)<=1
- ∑ Y P ( Y ∣ X ) = 1 \sum_{Y} P(Y|X)=1 ∑YP(Y∣X)=1