看论文时的几个数学术语

互信息（Mutual information）

在概率论和信息论中，两个随机变量的互信息（MI）是用来测量两个变量之间的相互依赖。不限于类似于有实际数值的随机变量相关系数，MI更加通用，能够确定联合分布概率p(x，y)和边际分布p(x)p(y)的相似程度。MI是 pointwise mutual information (PMI)的预期值，互信息最常用的的测量单位是bit。

拟阵（matroid ）

拟阵是一个来捕捉和概括在向量空间里线性无关的概念。有许多定义拟阵的方法，最重要的是 independent sets, bases, circuits, closed sets or flats, closure operators, and rank functions。

Submodular set function

Submodular set function是一个set function，（set function是一个函数输入是一个集合，而输出通常是一个数值的函数）。子模型函数有一个自有的收益递减属性，使它们适用于多种应用，包含近似算法，博弈论等。

Chernoff bound界

对于独立随机变量的总和的tail 分布给出一个呈指数递减的界限。它对于基于尾边界的如马尔可夫不等式、切比雪夫不等式更加清晰，它只产生服从尾部衰减的幂率界限。但是Chernoff界要求变量是独立的，