可解释的机器学习(三):可解释的模型-逻辑回归
线性模型用于分类的问题:不输出概率,但将它类视为数字(0和1),并你和最佳超平面以最小化点和超平面之间的的距离。所以它知识在点之间插值,不能将它们解释为概率。
分类的解决问题是逻辑回归。它不是拟合直线或超平面,而是使用逻辑函数将线性方程的输出挤压到0和1之间。
l o g i s t i c ( η ) = 1 1 + e x p ( − η ) logistic(\eta) = \frac1{1+exp(-\eta)} logistic(η)=1+exp(−η)1
P ( y ( i ) = 1 ) = 1 1 + e x p ( − ( β 0 + β 1 x 1 ( i ) + ⋯ + β p x p ( i ) ) ) P(y^{(i)} = 1)=\frac1{1+exp(-(\beta_0 + \beta_1x_1^{(i)}+\dots+\beta_px_p^{(i)}))} P(y(i)=1)=1+exp(−(β0+β1x1(i)+⋯+βpxp(i)))1
解释
权重不再线性地影响概率,加权和由逻辑函数转换为概率。
为解释重新构造方程:
l o g ( P ( y = 1 ) 1 − P ( y = 1 ) ) = l o g ( P ( y = 1 ) P ( y = 0