机器学习入门（七）之----logistic回归（回归函数与概率模型）

Toast to the ones here today，

Toast to the ones we lost on the way。

现在我们讨论分类问题。主要关注目标变量为0,1的二分类问题，1为正例，0为负例。目标变量在分类问题中又称为标签。

logistic回归函数与概率模型

我们用之前回归的方法来做分类最大的问题在于预测值小于0或者大于1都是无意义的。为此我们添加如下约束，将它限制在0到1之间，
\[ \begin{equation} h_{\theta}(x)=g\left(\theta^{T} x\right)=\frac{1}{1+e^{-\theta^{T} x}} \end{equation} \]

\[ g\left( x_1\right)=\frac{1}{1+e^{- x_1}} \]

其中称为logistic函数，或者sigmoid函数。函数长这样，

对$g\left( x_1\right) $ 不同选择会导致不同算法，以后我们会看到这个选择是非常自然的。关于这个函数的导数有如下性质，
\[ \begin{equation} \begin{aligned} g^{\prime}(z) &=\frac{d}{d z} \frac{1}{1+e^{-z}} \\ &=\frac{-1}{\left(1+e^{-z}\right)^{2}}\frac{d}{d z}\left(e^{-z}\right) \\ &=\frac{1}{\left(1+e^{-z}\right)^{2}}\left(e^{-z}\right) \\ &=\frac{1}{\left(1+e^{-z}\right)} \cdot\left(1-\frac{1}{\left(1+e^{-z}\right)}\right) \\ &=g(z)(1-g(z)) \end{aligned} \end{equation} \]
现在有了logistic回归模型，怎样拟合他的参数呢？我们先给它一个概率模型，用最大似然法来拟合参数，假设给定$ x$ 标签满足二项分布，且输出0,1之间的值为标签为1的概率，则有，
\[ \begin{equation} \begin{aligned} P(y=1 | x ; \theta) &=h_{\theta}(x) \\ P(y=0 | x ; \theta) &=1-h_{\theta}(x) \end{aligned} \end{equation} \]
即我们假设它的预测值是样本为正例的概率值。这两个等式子可以统一起来等价地，有，
\[ \begin{equation} p(y | x ; \theta)=\left(h_{\theta}(x)\right)^{y}\left(1-h_{\theta}(x)\right)^{1-y} \end{equation} \]
对于一批独立样本，我们有，
\[ \begin{aligned} L(\theta) &=p(\vec{y} | X ; \theta) \\ &=\prod_{i=1}^{n} p\left(y^{(i)} | x^{(i)} ; \theta\right) \\ &=\prod_{i=1}^{n}\left(h_{\theta}\left(x^{(i)}\right)\right)^{y^{(i)}}\left(1-h_{\theta}\left(x^{(i)}\right)\right)^{1-y^{(i)}} \end{aligned} \]
老规矩，要最大化下式给出的对数似然函数，
\[ \begin{aligned} \ell(\theta) &=\log L(\theta) \\ &=\sum_{i=1}^{n} y^{(i)} \log h\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h\left(x^{(i)}\right)\right) \end{aligned} \]

logistic回归更新公式

和求线性回归问题时用梯度下降最小化损失函数一样，我们在此用梯度上升最大化对数似然函数（因此是加号），
\[ \begin{equation} \theta :=\theta+\alpha \nabla_{\theta} \ell(\theta) \end{equation} \]
还是先只考虑一个样本$ (x,y)$ ，求梯度，
\[ \begin{equation} \begin{aligned} \frac{\partial}{\partial \theta_{j}} \ell(\theta) &=\left(y \frac{1}{g\left(\theta^{T} x\right)}-(1-y) \frac{1}{1-g\left(\theta^{T} x\right)}\right) \frac{\partial}{\partial \theta_{j}} g\left(\theta^{T} x\right) \\ &=\left(y \frac{1}{g\left(\theta^{T} x\right)}-(1-y) \frac{1}{1-g\left(\theta^{T} x\right)}\right) g\left(\theta^{T} x\right)\left(1-g\left(\theta^{T} x\right)\right) \frac{\partial}{\partial \theta_{j}} \theta^{T} x \\ &=\left(y\left(1-g\left(\theta^{T} x\right)\right)-(1-y) g\left(\theta^{T} x\right)\right) x_{j} \\ &=\left(y-h_{\theta}(x)\right) x_{j} \end{aligned} \end{equation} \]
第二个等式用到sigmoid函数导数性质。因此，有如下参数更新公式，
\[ \begin{equation} \theta_j :=\theta_j+\alpha \left(y-h_{\theta}(x)\right) x_{j} \end{equation} \]
我们可以看到形式上更新公式和线性回归的一模一样。但这里要注意，假设函数是不同的两个函数。但这多少还是让人感到有些惊讶的。这到底是巧合，还是有更背后更深层的原因。我们在广义线性模型那里将会揭晓答案。

机器学

转载于:https://www.cnblogs.com/qizhien/p/11589124.html