笔记 -凸函数 /KL距离

1，凸函数和凸集合，

凸函数，例如 y=X^2, 定义为：

λ*f（x1）+（1-λ)*f（x2）>= f(λx1+（1-λ)x2)

 凸集合： 指 在一个集合处，上面任意两点连线都在集合内。

 性质：

对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数

　对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数、

 2，KL距离

定义 即 Kullback-Leibler Divergence，可翻译为相对熵，衡量事件空间里的两个概率分布的差异情况，所以可以用来做匹配的评价函数，

D(P∣∣Q)=x∈X∑​P(x)logP(x)​/Q(x) 即，具有如下性质：

1. 当P(x)=Q(x)时，D(P||Q)=0,即其相对熵为零。
2. 当P(x)和Q(x)相似度越高时，KL距离越小
3. D(P||Q)非负（非负性）
4. 不满足对称性，即D(P||Q)≠D(Q||P)
5. 不满足三角不等式