本文是作者作为数学系学生学习机器学习的笔记，重点介绍了逻辑回归的理论和Python实现。从线性回归引入，解释了如何将线性回归应用于二分类问题，并通过逻辑函数将连续预测转换为离散类别。接着，文章讨论了最大似然估计、交叉熵损失函数以及如何处理类别不平衡问题。最后，给出了基于梯度上升法的简单Python代码示例。
笔者为数学系的一个小白，最近系统的在复习机器学习以及一些深度学习的内容，准备开个博记录一下这个有趣又痛苦的过程~hiahiahia，主要记录机器学习的几大经典算法的理论以及Python的实现。非计算机的大神！！！代码不会太牛(求轻喷，暴风哭泣)。话不多说，就从逻辑回归开始吧。
线性回归
首先我们来说说什么是线性回归。给定一个数据集 D = { ( x 1 , y 1 ) , … , ( x m , y m ) } D=\{(x_1,y_1),\dots,(x_m,y_m)\} D={
(x1,y1),…,(xm,ym)}，其中 x i = ( x i 1 ; … ; x i d } , y i ∈ R x_i=(x_{i1};\dots;x_{id}\},y_i\in R xi=(xi1;…;xid},yi∈R。线性回归是试图寻找一个线性模型尽可能的准确预测输出标记 y y y。我们可以把模型归结为
f ( x i ) = w x i + b i f(x_i)=wx_i+b_i f(xi)=wxi+bi
尽可能地使得 f ( x i ) ≈ y i f(x_i)\approx y_i f(xi)≈yi。那么如何如何让描述这个近似相等的程度呢，这里有很多种数学意义上的“距离”可以公式化的表述，我们以均方误差为例，把上述线性模型问题写成一个标准的优化问题(实际上就是最小二乘问题啦)：
( w ∗ , b ∗ ) = a r g m i n w , b ∑ i = 1 m ( f ( x i ) − y i ) 2 (w^*,b^*)=argmin_{w,b}{\sum^m_{i=1}(f(x_i)-y_i)^2} (w∗,b∗)=argminw,bi=1∑m(f(xi)−yi)2
为了方便理解我们举个栗子，(如下图所示,图片来源于网络)，假设在二维空间中，数据集就是平面上的众多点的集合，我们想找到一条直线尽可能多的穿过这些点，直线上的点到直线距离为0，但总会有一些点不在这条直线上，与直线有一定的距离，我们的目的就是寻找到最优的那对 ( w ∗ , b ∗ ) (w^*,b^*) (w∗,b∗)，使得这个距离的平方和最小。
推广到多元线性回归上，我们可以得到下式的优化问题，这里不推显示解啦，求导等于0及可。
w ^ ∗ = arg min w ^ ( y − X w ^ ) T ( y − X w ^ ) \hat{w}^* =\argmin_{\hat{w}}{(y-X\hat{w})^T(y-X\hat{w})} w^∗=w^argmin(y−Xw^)T(y−Xw^)
其中 w ^ = ( w ; b ) \hat{w}=(w;b) w^=(w;b)， X = ( X ; 1 ) X=(X;1) X=(X;1)
逻辑回归原理
接下来我们来说回我们的主题，刚刚的线性回归得到的是连续的预测标记的值，是 R R R上的实值。那么我们如果想做分类问题怎么办呢？
也就是说，我们想让这个输出变成离散的，比如输出一个病人通过几项指标最后预测出患病或者是健康，再比如我们通过一些天气条件判断明天下雪或者不下雪…一个不难想到的办法就是进行一个阈值的判断。我们得到一个预测后是实数，如果这个预测值大于阈值，我们把它归结在一类中，如果小于就放在另一类中，这就是简单的二分类。二分类任务中，最理想的比较预测后数值与阈值的函数就是阶跃函数(unit-step function)：
y = { 0 z < 0 0.5 z = 0 1 z > 0 y=\left\{ \begin{array}{rcl} 0& & {z<0}\\ 0.5 & & {z=0}\\ 1 & & {z>0}\\ \end{array} \right. y=⎩⎨⎧00.51
最低0.47元/天 解锁文章
6714
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
