【机器学习】琴生不等式（Jensen’s inequality)：
凸/凹函数概述
“琴生不等式描述的是积分的凸/凹函数值和凸/凹函数的积分值间的关系。”
以上定义来自维基百科，虽然晦涩难懂，但是我们可以得出结论：在学习琴生不等式的时，必须要对与之相关凸/凹函数有一个大概的认识。
什么是凸/凹函数？
“凸函数是具有如下特性的一个定义在某个向量空间的凸子集 C C C（区间）上的实值函数 f f f：对其定义域 C C C上的任意两点 x 1 x_1 x1, x 2 x_2 x2，总有 f ( x 1 + x 2 2 ) ≤ f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_1+x_2}{2})\leq\frac{f(x_1)+f(x_2)}{2} f(2x1+x2)≤2f(x1)+f(x2)。”
“凹函数是具有如下特性的一个定义在某个向量空间的凹子集 C C C（区间）上的实值函数 f f f：对其定义域 C C C上的任意两点 x 1 x_1 x1, x 2 x_2 x2，总有 f ( x 1 + x 2 2 ) ≥ f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_1+x_2}{2})\geq\frac{f(x_1)+f(x_2)}{2} f(2x1+x2)≥2f(x1)+f(x2)。”
以上定义依然来自维基百科，依然晦涩难懂，重要的是了解以下结论。
结论一：凸/凹函数的二阶导数恒大于/小于零
结论二：一个凸/凹函数上任意两点所作割线一定在这两点之间的函数图像的上/下方
琴生不等式概述
1、若 f ( x ) f(x) f(x)是区间 ( a , b ) (a,b) (a,b)上的凸函数，则对任意的 x 1 , x 2 , x 3 , . . . . . . , x n ∈ ( a , b ) x_1,x_2,x_3,\ ......,x_n\in(a,b) x1,x2,x3, ......,xn∈(a,b)，有不等式:
f ( x 1 + x 2 + x 3 + . . . . . . + x n n ) ≤ f ( x 1 ) + f ( x 2 ) + f ( x 3 ) + . . . . . . + f ( x n ) n f(\frac{x_1+x_2+x_3+......+x_n}{n})\leq\frac{f(x_1)+f(x_2)+f(x_3)+......+f(x_n)}{n} f(nx1+x2+x3+......+xn)≤nf(x1)+f(x2)+f(x3)+......+f(xn)
有当且仅当 x 1 = x 2 = x 3 = . . . . . . = x n x_1=x_2=x_3=......=x_n x1=x2=x3=......=xn时等号成立。
2、若 f ( x ) f(x) f(x)是区间 ( a , b ) (a,b) (a,b)上的凹函数，则对任意的 x 1 , x 2 , x 3 , . . . . . . , x n ∈ ( a , b ) x_1,x_2,x_{3,\ }......,x_n\in(a,b) x1,x2,x3, ......,xn∈(a,b)，有不等式:
f ( x 1 + x 2 + x 3 + . . . . . . + x n n ) ≥ f ( x 1 ) + f ( x 2 ) + f ( x 3 ) + . . . . . . + f ( x n ) n f(\frac{x_1+x_2+x_3+......+x_n}{n})\geq\frac{f(x_1)+f(x_2)+f(x_3)+......+f(x_n)}{n} f(nx1+x2+x3+......+x
最低0.47元/天 解锁文章
394
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
