(1)逻辑斯回归模型
是一种分类模型,有条件概率分布P(Y|X)表示,形式为参数化的逻辑斯谛分布
二项逻辑斯条件概率分布如下(2类分类问题):
此处为何使用p/(1-p)及对数几率表示,我在(2)参数估计有所解答(个人见解,请自行借鉴和思考)
最后得出概率模型,这样的模型就是逻辑斯蒂回归模型。
(2)(模型参数(w)估计)以上将对数几率转化为x的线性函数表示,由此需要估计w才能得到完整模型表达
逻辑斯蒂回归模型学习时,对于给定训练数据,可以应用(极大似然估计法)估计模型参数。
由此将问题转变为以对数似然函数为目标函数的最优化问题。之后通常采用梯度下降法及拟牛顿法做优化,最终得到w,以及学到的模型:
由以上对似然函数的求解过程中,我们将w点x替换了原先复杂的log对数以简化求导过程。因此求解线性的w点x的同时也就求得了log对数几率,最终求得P(Y=1|X)而得到模型。所以说取对数几率简化了之后的求解过程。
求似然函数取对数也是为了简化计算过程,最终就是(从求似然函数传导到了求对数几率)。
总而言之为什么有log,这与求似然函数的过程有很大关系!
参考:
李航《统计学方法》