无约束极值、线性分类器和线性回归基础

原创 2016年05月30日 10:12:09

总结无约束极值的基本内容以及线性分类器和回归的基础知识,包含梯度下降

使用梯度法解决无约束极值问题

相比于约束极值问题,无约束极值问题去掉了约束,因此表述方式非常简单:

minf(X),XEn(1)

现假设f(X)有一阶连续偏导,极小值点为XX(k)为第k次接近。在X(k)点沿着方向P(k)做射线,有:

X(k+1)=X(k)+λP(k),(λ0)(2)

对上面式子进行泰勒展开:

f(X(k+1))=f(X(k)+λP(k))=f(X(k))+λf(X(k))TP(k)+o(λ)(3)

limλ0o(λ)λ=0

只要有

f(X(k))TP(k)<0

即可有

f(X(k)+λP(k))<f(X(k))

f(X(k))TP(k)=f(X(k))P(k)cosθ

θ为180°的时候,上式取最小值,这说明负梯度方向函数下降最快。

计算过程大体如下:

X0开始,如果f(X(0))2<ε,退出。
否则X(1)=X(0)λ0f(X(0))

这里会有λ的选择问题。如果λ具有二阶导数,那么可以对f(X(k)λf(X(k))进行泰勒展开:

f(X(k)λf(X(k))f(X(k)f(X(k))Tλf(X(k))+12λf(X(k))TH(X(k))λf(X(k))(4)

λ求导数,并令其为0,可以得到:

λk=f(X(k))Tf(X(k))f(X(k))TH(X(k))f(X(k))(5)

其中:

H(X)=2f(X)x21...2f(X)xnx1.........2f(X)x1xn...2f(X)x2n(6)

线性分类器

对于一个线性分类器,假设数据集均可正确分类,那么我们只需找到一个分类超平面,使得所有的错分点到分类超平面的距离最短即可。

我们假设分类超平面的公式如下:

g(x)=ωTx=0(7)

那么点到直线的距离可以用ωTx来表示。现在我们可以构建一个无约束极值问题,并使用梯度下降法来寻找分类超平面的问题。

代价函数定义为:

J(ω)=xY(δxωTx)(8)

其中Y代表分类错误集,δx定义为:xω1,δx=1;xω2,δx=1ωx>0,xω1

因此代价函数即是保证每项因子为正的情况下最小化各个错分类的点到分类超平面的距离。

这里我们使用梯度下降法来计算最优的ω,即:

ω(t+1)=ω(t)ρtJ(ω)ωω=ω(t)(9)

其中

J(ω)ω=xYδxx(10)

最小二乘法–误差平方和估计

同样考虑上述分类问题,如果类不是线性可分的情况下,那么可以使用最小二乘法来解决问题,使期望值和输出值之间的误差平方和达到最小,从而构建这么一个最优分类器。其中损失函数定义如下:

J(ω)=i=1N(yiωTix)2i=1N(e2i)(11)

J(ω)ω=0,我们可以得到:

i=1Nxi(yixtiω)=0(i=1Nxixti)ω=i=1N(xiyi)(11)

X=x11...xN1.........x1L...xNLY=y1...yN

那么我们可以得到下列公式:

(XTX)ω^=XTYω^=(XTX)1XTY(12)

上述最小二乘内容其实可以通用于分类和回归。也就是Y不同而已。

随机梯度下降

在实际使用中(例如Spark等集群计算中),对于回归等的计算过程仍然使用梯度下降法进行计算,其原因是求(XTX)1的时候很有可能矩阵的逆不存在,而使用伪逆进行运算的话如果矩阵奇异,那么结果十分不可信,会得到错误的结论(ELM极限学习机就是一个非常现实的例子)。但是在Spark中使用了随机梯度下降法,每次并不需要将整个测试集带入来求得ω,而是随机选取一个点进行相应梯度的下降。

通过上述公式9,并将J(ω)替换为最小二乘法中的损失函数,我们可以得到如下内容:

ω(t+1)=ω(t)i=1Nρxi(yixtiω)(13)

也就是说,调整权值使用了所有测试集中的点。

随机梯度下降就是仅仅使用了随机的一个点进行权值的调整。

版权声明:写着玩儿,有任何问题希望能够交流

相关文章推荐

机器学习基石 作业4 带Regularizer和Cross Validation的线性回归分类器

#!/usr/bin/env python # -*- coding: utf-8 -*- """ __title__ = 'main.py' __author__ = 'w1d2s' __mtime...

量价线性模型假设-基于Adaboost和线性回归弱分类器

前两篇的文章中我演示了如何进行预测,但是预测的准确率一直停留在50%上下,好一点的有60%,IR就不用说了,有多有少,可操作性比较差。今天从另一个角度解释一下为什么这么难预测。先从一个有趣的题目来入手...
  • mtaxot
  • mtaxot
  • 2016年08月08日 11:43
  • 752

(理解)线性回归, 逻辑回归和线性分类器,Softmax回归。

(理解)线性回归, 逻辑回归和线性分类器,Softmax回归。

[深度学习基础] 2. 线性分类器

本文将以 softmax 线性分类器为例, 讨论数据驱动过程的各组成部分. 同时本章是后文非线性分类器和深度学习的铺垫. 1 训练数据 给定由 m 张图像组成的训练集, 每个图像的标记是 K 个不...

高效计算基础与线性分类器

七月算法5月深度学习班课程笔记——第二课 1. 深度学习与应用  1. 图像上的应用:可以根据图片,识别图片的内容,描述图像;模仿人的创造性生成画作;相册自动归类等。          ...

无约束一维极值问题

  • 2015年07月27日 10:38
  • 621B
  • 下载

无约束一维极值问题matlab代码

  • 2012年01月22日 11:16
  • 4KB
  • 下载

MATLAB学习笔记03——无约束一维极值问题(一)进退法和黄金分割法

无约束一维极值问题求解时一般采用一维搜索法,,其中方法包括多种,线性搜索:黄金分割、斐波那契法、牛顿法等,非线性包括抛物线法和三次插值法。 进退法是一种缩小极值区间的算法,算出的结果是一个包含极值的...

无约束问题的极值条件

有时候,我们希望根据一定的条件找到优化问题的极值点;另外一些时候,我们得到若干候选解,希望判断候选解中哪些是真正的极值点。这其中涉及非线性规划的极值条件问题。所谓非线性规划的极值条件,是指非线性规划模...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:无约束极值、线性分类器和线性回归基础
举报原因:
原因补充:

(最多只允许输入30个字)