机器学习笔记之指数族分布——最大熵原理与softmax激活函数的关系

引言

上一节介绍了最大熵原理与指数族分布之间的关系，即给定基于样本作为约束条件的情况下，熵最大的概率分布是指数族分布。本节将介绍最大熵原理与$softmax$函数之间的关联关系。

符号定义

已知一个数据集合$Data$，该集合共包含两部分：

• 样本：描述某事物具体性质的信息；
• 标签：根据样本特征得到的结论信息；

示例：
某样本包含3个样本特征：圆脸、长胡子、尖爪
对应的标签包含3个标签特征：是猫、不是狗、不是鸭

基于上述示例，对样本集合中的元素进行抽象表示：

• 定义$Data$中共包含$N$对样本、标签；

• 样本集合表示为$\mathcal{X}$，任意一个样本表示为$x^{(k)}(k=1,2,\cdots ,N)$。则有：
  X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } \mathcal X = \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} X={ x(1),x(2),⋯,x(N)}

• 标签集合表示为$\mathcal{Y}$，一个标签表示为$y^{(k)}(k=1,2,\cdots ,N)$。则有：
  Y = { y ( 1 ) , y ( 2 ) , ⋯   , y ( N ) } \mathcal Y = \{y^{(1)},y^{(2)},\cdots,y^{(N)}\} Y={ y(1),y(2),⋯,y(N)}

• 每一个样本都对应一个标签，将一对样本标签定义为$s^{(k)}$：
  $$s^{(k)}=(x^{(k)},y^{(k)})(k=1,2,\cdots ,N)$$

• 任意样本$x^{(k)}(k=1,2,\cdots ,N)$均包含$i$个样本特征。即：
  $$x^{(k)}={\left(\begin{array}{c}{x}_1^{(k)},x_2^{(k)},\cdots x_i^{(k)}\end{array}\right)}^T$$

• 任意样本$y^{(k)}(k=1,2,\cdots ,N)$均包含$j$个标签特征。即：
  $$y^{(k)}={\left(\begin{array}{c}{y}_1^{(k)},y_2^{(k)},\cdots y_j^{(k)}\end{array}\right)}^T$$

• 样本集合与标签集合表示如下：
  $$\mathcal{X}=\left(\begin{array}{c}{x}_1^{(1)}{x}_1^{(2)}\cdots x_1^{(N)}\\ x_2^{(1)}{x}_2^{(2)}\cdots x_2^{(N)}\\ ⋮⋮⋮\\ x_i^{(1)}{x}_i^{(2)}\cdots x_i^{(N)}\end{array}\right)\mathcal{Y}=\left(\begin{array}{c}{y}_1^{(1)}{y}_1^{(2)}\cdots y_1^{(N)}\\ y_2^{(1)}{y}_2^{(2)}\cdots y_2^{(N)}\\ ⋮⋮⋮\\ y_j^{(1)}{y}_j^{(2)}\cdots y_j^{(N)}\end{array}\right)$$

• $\mathcal{X},\mathcal{Y},Data$的样本空间分别表示如下：
  $$\begin{gathered} {\mathcal{S}}_{\mathcal{X}}=(x_1,x_2,\cdots ,x_i{)}^T \\ {\mathcal{S}}_{\mathcal{Y}}=(y_1,y_2,\cdots ,y_j{)}^T \\ {\mathcal{S}}_{Data}=(x_1,x_2,\cdots ,x_i;y_1,y_2,\cdots ,y_j{)}^T \end{gathered}$$

• 组合概念：为了简化理解，将样本空间${\mathcal{S}}_{\mathcal{X}}$中的每一维度$x_q{\mid }_{q=1}^i$视为伯努利分布，即：
  $$x_q=\{\begin{array}{l}1if满足x_q描述的既定事实\\ 0otherwise\end{array}$$
  同理，$y_s{\mid }_{s=1}^j$也设定为：
  $$\begin{gathered} y_s=\{\begin{array}{l}1if满足y_s描述的既定事实\\ 0otherwise\end{array} \\ \sum _{s=1}^j{y}_s=1 \end{gathered}$$
  基于上述假设，我们可以 将$Data$中的所有样本划分为若干个组合。某一种组合示例：
  $$\begin{gathered} {\mathcal{S}}_{\mathcal{X}}^{(l)}=(0,1,0,\cdots ,1,0) \\ {\mathcal{S}}_{\mathcal{Y}}^{(l)}=(0,1,0,\cdots ,0,0) \\ {\mathcal{S}}_{Data}^{(l)}=(0,1,0,\cdots ,1,0;0,1,0,\cdots ,0,0) \end{gathered}$$
  统计满足组合${\mathcal{S}}_{Data}^{(l)}$样本的数量，就可以 使用经验概率分布 计算该数据集合中${\mathcal{S}}_{Data}^{(l)}$的 概率密度函数：
  $$\hat{p}(s^{(k)}={\mathcal{S}}_{Data}^{(l)})=\hat{p}({\mathcal{S}}_{Data}^{(l)})=\frac{count(s^{(k)}={\mathcal{S}}_{Data}^{(l)})}{N}$$

假设一共存在$m$个组合，则有：
$$\sum _{l=1}^m\hat{p}({\mathcal{S}}_{Data}^{(l)})=1$$

基于多维数据集合的经验概率分布

回顾：经验概率分布

经验概率分布本质上表示 特定事件发生的次数占总体样本发生的比率，是 概率的频率定义 的一种表达。这里使用$\hat{p}(x)$表示$x$的经验概率分布。它的具体公式表示如下：
$$\hat{p}(x^{}$$