积分形式的詹森不等式_常用不等式

不等式的目的是简化。把复杂的原式简化为直观易求解的表达式来获得上界或下界。

1.三角不等式

三角不等式非常灵活，既可以对

放大，也可以缩小。

2.平均数不等式

，

当且仅当

取等号.

即对这些正数：调和平均数 ≤ 几何平均数 ≤ 算术平均数 ≤ 平方平均数（方均根）

3.詹森不等式

f是凸函数，凹函数不等式反向，f线性函数取等号；E是期望。（把

理解为概率）。

E(x)的形式，离散：

,连续：

一般情况下，直接求

比较复杂，可以考虑f转换x。

。eg.

(开方是严格凹函数，RMSE>MAE）

4.柯西-施瓦茨不等式

对于一个内积空间，对于任意两个向量x,y有：向量的内积必小等于向量模乘。

引入范数，两边开方：

当且仅当y=ax（x,y共线）,等号成立。

5. Hölder不等式（柯西不等式推广）

（p>=1， 0<p<1不等号反向，x,y共线取等。p,q是共轭指数

）

6. 闵可夫斯基不等式，Lp空间三角不等式

（p>=1， 0<p<1不等号反向，x,y共线取等。p,q是共轭指数

）

7.伯努利不等式

任意整数

和任意实数

，有：

8.贝塞尔不等式

对于任意完备内积空间中的向量x,考虑一组规范正交基

有：

如果k取遍空间所有分量，则等号成立（勾股定理）。少了几边等号不成立。

证明的思路是利用一般希尔伯特空间中的“勾股定理”：如果两个向量垂直，那么它们的和的长度平方等于它们两个的长度的平方和。

概率统计不等式：

1. 马尔可夫不等式

2. 切比雪夫不等式：

推广：

3. 霍夫丁（Hoeffding）不等式

其中，

为独立观测值，

4. Mill不等式

5. 弱大数定理，

iid

6. 强大数定理，

iid

7. 中心极限定理，

iid