kl散度定义_KL散度非负性证明

KL散度非负性证明中涉及到的关键定理为上凸（凹）函数的一条性质，因目前对函数凹凸性的定义尚无统一标准，各方面参考资料也分别自成一家。今天（2019.08.11）再次看到KL散度时，稍微整理了一下，为方便自己日后查看，特记录在此：

1. 函数凸凹性定义：

凹凸的规定目前世界学术界尚未统一。所以，不同的书，对于凹凸性的定义是可能不同的。

Convex Function在国内的数学书中指凹函数。Concave Function指凸函数。在国内涉及经济学的很多书中，凹凸性的提法和国外的提法是一致的，也就是和单纯的数学教材是反的。很头大的问题。

另外，国内各不同学科教材、辅导书的关于凹凸的说法也是相反的。一般来说，可按如下方法准确说明：

1、

， 即V型，为“凸向原点”，或“下凸”（也可说上凹），（有的简称凸有的简称凹）

2、

， 即A型，为“凹向原点”，或“上凸”（下凹），（同样有的简称凹有的简称凸）

凸/凹向原点这种说法一目了然。上下凸的说法也没有歧义。

在二维环境下，就是通常所说的平面直角坐标系中，可以通过画图直观地看出一条二维曲线是凸还是凹，当然它也对应一个解析表示形式,就是那个不等式。但是，在多维情况下，图形是画不出来的，这就没法从直观上理解“凹”和“凸“的含义了，只能通过表达式，当然n维的表达式比二维的肯定要复杂，但是，不管是从图形上直观理解还是从表达式上理解，都是描述的同一个客观事实。而且，按照函数图形来定义的凹凸和按照函数来定义的凹凸正好相反。

2. KL散度非负性证明