-
最近一直在看《机器学习实战》,但是看到Logistic回归这里感觉到一头雾水,看不太懂。于是在网上找了很多这方面的文章,终于理解了这个东西,下面就把我的理解写一下。
更详细准确的请看这几篇:
- 【机器学习笔记1】Logistic回归总结
-
机器学习中的数学(2)-线性回归,偏差、方差权衡
似然函数
机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
最大似然估计和最小二乘法怎么理解–知乎
回归
回归最简单的定义,就是给定一个点集,然后用一个函数去拟合这个点集,使得点集与拟合函数之间的误差最小。然后根据这个函数预测目标值,这也是回归的目的。
而回归的过程就是求这个函数的参数,当参数都得到之后,我们就得到了一个完整的回归函数,之后根据这个回归函数进行预测就是很容易的事了。
回归与分类不同之处在于分类是监督学习,它的目标变量是明确的类别,而回归是无监督学习,它的目标变量是连续型数值。
-
回归又分为线性回归和非线性回归
- 线性回归:线性回归意味着可以将输入项分别乘以一些常量(参数),再将结果加起来得到输出,即回归函数是线性函数。
- 非线性回归:非线性回归认为输出可能是输入的乘积,即回归函数不是线性函数。
Logistic回归
Logistic回归虽然名字中有回归二字,但是实际上它是一个分类方法,而且是一个二值分类(即它的输出只有两个值,分别代表两个类),而它的函数用的是Logistic函数(或称为Sigmoid函数):
对应的函数图像是一个取值在0和1之间的S型曲线(图1)。
对于线性边界,边界形式如下:
构造预测函数:
hθ(x)函数的值有特殊的含义,它表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
(4)式综合起来可以写成:
取似然函数为:
对似然函数取对数为:
这里需要对似然函数进行一下说明:
要明确似然和概率的区别:
概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
比如已知箱子里有4个黑球,2个白球,现在做有放回的抽取,抽取10次,问抽到8次黑球,2次白球的概率,这就是概率;如果不知道箱子中的黑白球的比例,做有放回的抽取,抽取10次,结果抽到8次黑球,2次白球,问箱子中黑白球的比例,这就是似然。
最大似然估计,就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
还是用上面的那个例子,我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为:P(黑=8)=p^8*(1-p)^2,现在我想要得出p是多少啊,很简单,使得P(黑=8)最大的p就是我要求的结果,接下来求导的的过程就是求极值的过程啦。
在Logistic这个例子中,一个样本点(x1, x2, …, xn, y)就相当于一次抽取,所有的样本点构成训练集,即最终的事件结果,那么这个结果的概率就是(8)式,(9)式是对(8)式取对数的结果,这样做是为了简化计算,而不会影响似然函数取最大值。接下来的工作就是对(9)式求极值,从而得到参数θ的值,这是个数学问题。
由于函数沿它的梯度方向变化最快,所以我们可以沿着梯度方向移动自变量(现在的自变量就是参数θ),又因为要求似然函数的最大值,所以我们用梯度上升法求函数的极大值,在这个过程中迭代更新参数θ的值,直到满足我们的要求为止(如误差在什么范围内,迭代多少次等等)。
用梯度上升法求(9)式的最大值,可得:
这里的α为学习步长,是一个常量。
《机器学习实战》在这个地方理论上讲得比较模糊,很省略,但是代码确实是这样实现的。