关于SVM推导的中的数学概念:凸优化

1  关于凸函数

1.1凸函数的定义

 在大学的高数课本上出现的凸函数其实与机器学习的凸函数并不太一样。在这里建议大家记住一个特殊的例子:y=x^{2},这个函数就是一个凸函数,可以方便大家理解。

下面这个是凸函数的定义:

f(x)在区间I上有定义,f(x)在区间I上是凸函数当且仅当:\forall x_{1},x_{2}\in I,有

f(\theta x+(1-\theta)y)\leq \theta f( x)+(1-\theta)f(y)\ (0\leq \theta\leq1 ).  若≤改为<,则是严格凸函数。

下面说一下关于凸函数的一阶条件与二阶条件及证明过程。

1.1  凸函数的一阶条件

一阶条件为:f(y)+f'(y)(x-y)\leq f(x). 下面这个图可以帮助理解

 

切点为(y,f(y)),函数为f(x)

1.2 凸函数的二阶条件

二阶条件为:f''(x)\geq 0. 证明如下:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值