机器学习（五）：线性模型

更多内容关注公众号：数学的旋律

tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物

引言

    线性模型（linear modal）试图学得一个通过属性的线性组合来进行预测的函数。本文介绍两种经典的线性模型，分别是回归任务中的线性回归（linear regression）与二分类任务中的逻辑回归（logistic regression）。
    如图1，在二维空间中有一些样本点，我们用一条直线对这些点进行拟合，该直线称为最佳拟合直线。线性回归就是根据训练集，寻找对训练样本的最佳拟合直线；逻辑回归则是利用“单位跳跃函数”将线性模型产生的预测值转换为0/1值，从而实现二分类任务。

图1

一、数学预备知识

1.方向导数

如果函数$f(x,y)$在点$P_0(x_0,y_0)$可微分，那么函数在该点沿任一方向$l$的方向导数存在，且有$${\frac{\partial f}{\partial l}|}_{(x_0,y_0)}=f_x(x_0,y_0)\cos \alpha +f_y(x_0,y_0)\cos \beta$$其中$\cos \alpha$，$\cos \beta$是方向$l$的方向余弦。
（α为$l$与x轴正向夹角，β为$l$与y轴正向夹角。方向导数反映的是函数沿任一指定方向的变化率问题）

例1
求函数$z=x{e}^{2y}$在点$P(1,0)$处沿从点$P(1,0)$到点$Q(2,-1)$的方向的方向导数
解：
这里方向$l$即向量$\overrightarrow{PQ}=(1,-1)$的方向，与$l$同向的单位向量为$e_l=(\frac{1}{\sqrt{2}},-\frac{1}{\sqrt{2}})$。
因为函数可微分，且$$Z_x(1,0)=e^{2y}=1$$$$Z_y(1,0)=2x{e}^{2y}=2$$故所求方向导数为$${\frac{\partial Z}{\partial l}|}_{(1,0)}=1\times \frac{1}{\sqrt{2}}+2\times (-\frac{1}{\sqrt{2}})=-\frac{\sqrt{2}}{2}$$

2.梯度

与方向导数有关联的一个概念是函数的梯度。在二元函数的情形，设函数$f(x,y)$在平面区域D内具有一阶连续偏导数，则对于每一点$P_0(x_0,y_0)\in D$，都可定出一个向量$$f_x(x_0,y_0)\mathbf{i}+f_y(x_0,y_0)\mathbf{j}$$这向量称为函数$f(x,y)$在点$P_0(x_0,y_0)$的梯度，记作$\mathbf{grad}f(x_0,y_0)$或$\nabla f(x_0,y_0)$，即$$\mathbf{grad}f(x_0,y_0)=\nabla f(x_0,y_0)=f_x(x_0,y_0)\mathbf{i}+f_y(x_0,y_0)\mathbf{j}$$其中$\nabla =\frac{\partial }{\partial x}\mathbf{i}+\frac{\partial }{\partial y}\mathbf{j}$称为（二维的）向量微分算子或Nabla算子，$\nabla f=\frac{\partial f}{\partial x}\mathbf{i}+\frac{\partial f}{\partial y}\mathbf{j}$。
如果函数$f(x,y)$在点$P_0(x_0,y_0)$可微分，$e_l=(\cos \alpha ,\cos \beta )$是与方向$l$同向的单位向量，则$${\frac{\partial f}{\partial l}|}_{(x_0,y_0)}=f_x(x_0,y_0)\cos \alpha +f_y(x_0,y_0)\cos \beta =\mathbf{grad}f(x_0,y_0)\cdot e_l=|\mathbf{grad}f(x_0,y_0)|\cos \theta$$其中$\theta =<\mathbf{grad}f(x_0,y_0),e_l>$。
这一关系式表明了函数在一点的梯度与函数在这点的方向导数间的关系。特别的：
①$\theta =0$，即方向$e_l$与梯度$\mathbf{grad}f(x_0,y_0)$的方向相同时，函数$f(x,y)$增加最快。此时，函数在这个方向的方向导数达到最大值，这个最大值就是梯度$\mathbf{grad}f(x_0,y_0)$的模，即$$\underset{\partial l}{}$$