本文详细介绍了Logistic回归，从Logit函数和Sigmoid函数开始，探讨了模型形式、损失函数的极大似然估计及其求导过程，最后讲解了使用梯度下降法进行参数估计的步骤。通过对损失函数的分析，解释了为何不采用MSE作为损失函数的原因。
一、Logit函数和Sigmoid函数
二、模型形式
h θ ( x ) = 1 1 + e − θ T x h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}} hθ(x)=1+e−θTx1
其中 θ = ( θ 0 , θ 1 , θ 2 , . . . , θ n ) T \theta=(\theta_0,\theta_1,\theta_2,...,\theta_n)^T θ=(θ0,θ1,θ2,...,θn)T， x = ( 1 , x ( 1 ) , x ( 2 ) , . . . , x ( n ) ) T x=(1,x^{(1)},x^{(2)},...,x^{(n)})^T x=(1,x(1),x(2),...,x(n))T
三、损失函数
Logistic回归模型的损失函数在数学上可以通过极大似然估计得出
1.极大似然估计（MLE）
似然(likelihood)函数与概率(probability)函数是函数 P ( x ∣ θ ) P(x|\theta) P(x∣θ)的两种方向的解释。当参数 θ \theta θ确定，自变量 x x x未知时， P ( x ∣ θ ) P(x|\theta) P(x∣θ)表示的是不同的样本点 x x x出现的概率；当自变量 x x x确定，参数 θ \theta θ未知时， P ( x ∣ θ ) P(x|\theta) P(x∣θ)表示对于不同的模型参数 θ \theta θ，样本点 x x x出现的概率。
极大似然估计的基本原理就是当某个事件发生时，选取让这个事件发生的概率达到最大化的参数作为模型的参数。
当事件域中有多个事件时，把每个事件发生的概率 P ( x i ∣ θ ) P(x_i|\theta) P(xi∣θ)相乘得到似然函数 L ( x ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(x|\theta)=\prod_{i=1}^nP(x_i|\theta) L(x∣θ)=∏i=1nP(xi∣θ)
2.损失函数
Logistic回归模型中
h θ ( x ) = P ( y = 1 ∣ x , θ ) = 1 1 + e − θ T x h_\theta(x)=P(y=1|x,\theta)=\frac{1}{1+e^{-\theta^T x}} hθ(x)=P(y=1∣x,θ)=1+e−θTx1
则 1 − h θ ( x ) = P ( y = 0 ∣ x , θ ) = e − θ T x 1 + e − θ T x 1-h_\theta(x)=P(y=0|x,\theta)=\frac{e^{-\theta^T x}}{1+e^{-\theta^T x}} 1−hθ(x)=P(y=0∣x,θ)=1+e−θTxe−θTx
因此Logistic回归模型的似然函数为
L ( x ∣ θ ) = ∏ h θ ( x ) y i ( 1 − h θ ( x )
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
