逻辑回归(Logistic Regression)
判别模型:我们只需要学习P(y|x)。
让步比(odds ratio):
假设一个特征有0.9的概率属于类别1,P(y=1)=0.9。那让步比为:P(y=1)/P(y=0) = 0.9/0.1 = 9。让步比范围0到正无穷。取对数后将所有0到1之间的概率映射到负无穷到正无穷,更高的概率对应于更高的让步比对数。
线性等式:
yi=w0+w1xi y i = w 0 + w 1 x i
等式替换(用p替换y):
log(p(y=1|x)p(y=0|x))=log(pi1−pi)=w0+w1xi l o g ( p ( y = 1 | x ) p ( y = 0 | x ) ) = l o g ( p i 1 − p i ) = w 0 + w 1 x i
求解pi:
pi=11+e−(w0+w1xi)