Functional Dependency

1. 前言

1.1. 什么是函数依赖

给定：一个随机变量集合 R = { X 1 , . . . , X d , Y } \mathcal{R} = \{X_1, . . . ,X_d ,Y\} R={X1​,...,Xd​,Y} ，它们的值域分别为 $V(X_1),...,V(X_d)$ 和 $V(Y)$。将变量 $Y$ 视为输出变量，并将变量集 I = { X 1 , . . . , X d } \mathcal{I} = \{X_1,...,X_d\} I={X1​,...,Xd​} 视为输入变量。

求得：函数依赖的目的是找到输入变量的一个子集 $\mathcal{X}\subseteq \mathcal{I}$，使得其能够决定变量 $Y$。即存在一个函数 $f:V(\mathcal{X})⟶V(Y)$，使得 $\forall \mathbf{x}\in V(\mathcal{X})$

$$p(Y=y\mid X=\mathbf{x})=\{\begin{array}{ll}1& ,\text{ if }y=f(\mathbf{x})\\ 0& ,\text{ otherwise }\end{array}\text{\hspace{1em}(1)}$$

而如果随机变量对应于真实世界量的测量，通常会有未观察到的细微缺陷或噪声导致等式 $(1)$ 不能完全正确。所以需要考虑松弛公式 $(1)$为：$p(Y=y|\mathcal{X}=\mathbf{x})\ge 1-ϵ,ify=f(\mathbf{x})$。

---

1.2. 定量依赖程度的方法

然而，与任何基于硬阈值的参数化一样，参数 $ϵ$ 在实践中很难设置，所以只能提供定性的而不是定量的松弛。不能定量则说明这种方法不能用来表达 $Y$ 被 $\mathcal{X}$ 影响的程度。用来定量的办法主要有：
  ① 使用以 似然(likeihood) 为基础的测量，例如
$$p(Y=y|\mathcal{X}=\mathbf{x})=\frac{Count(\mathbf{x},y)}{Count(\mathbf{x})}\text{\hspace{1em}(2)}$$
  ② 使用 信息理论 来测量，例如考虑将互信息归一到 $[0,1]$ 之间：
$$F(\mathcal{X};Y)=\frac{H(Y)-H(Y|\mathcal{X})}{H(Y)}=\frac{MI(\mathcal{X},Y)}{H(Y)}\text{\hspace{1em}(3)}$$
以上两种方法都需要计算变量 $\mathcal{X}$ 和 $Y$ 的 empirical co-occurrences，来近似一些概率和信息量。它们也就都存在类似的缺陷：在有限的数据集中，当 $\mathcal{X}$ 中的元素数量提升，经验比值 $|(\mathbf{x},y)|/|\mathbf{x}|$ 会越来越高，趋向于 $1.0$——（缺少）零基线属性问题【the (lack of) zero-baseline property】。从而使得上面两个方法都让松弛后的公式 $(1)$ 成立，从而导致：
  ① 缺陷一：过拟合产生错误的依赖关系，被依赖集合X中元素过多。
  ② 缺陷二：捕捉的边缘依赖而不是真正的条件依赖，有偏差。
  ③ 缺陷三：上述方法搜索最优子集 $\mathcal{X}\subseteq \mathcal{I}$ 的时候，时间复杂度是指数级的。

只要使用类似于熵这样的方法来评判依赖性，就会产生缺陷一、二，这样的过拟合。为了避免，当前的方法使用 ① 后处理简化程序、② 基于排名的方案。其中最常用的是寻找最小函数依赖。

---

1.3. 常用的函数依赖性度量的方法

1. 信息理论——互信息体系
   互信息是最常用的依赖性度量的方法，它是两个变量联合概率分布和边缘概率分布乘积的 KL 散度（Kullback-Leibler divergence），即：
   $$\text{I}(X,Y)=\text{KL}(p_{xy},p_x{p}_y)$$然而，从有限样本中估计互信息具有挑战性，这促使人们引入了基于其他 $f$-发散度或积分概率度量的依赖性度量。（见下一条）
   Discovering Reliable Approximate Functional Dependencies —— 归一化互信息并修正偏差，解决零基线缺失问题。
2. 积分概率度量（IPM）
   IPM 是互信息的一个广义定义，设 $D$ 是与函数空间 $\mathcal{F}$ 相关的积分概率度量，对于两个分布 $p$ 和 $q$，$p=p_{xy}$ 且 $q=p_x{p}_y$：
   $$D(p,q)=\underset{f\in \mathcal{F}}{\sup }{\mathbb{E}}_{x\sim p}f(x)-{\mathbb{E}}_{x\sim q}f(x)$$
   例如 Hilbert-Schmidt Independence Criterion (HSIC) 使用 Maximum Mean Discrepancy (MMD) 来评估两个变量之间的依赖性：
   $$\text{HSIC}(X,Y)=\text{MMD}(p_{xy},p_x{p}_y)$$通过在 再现核希尔伯特空间-RKHS 中的核平均嵌入，可以很容易地从样本中估计出来。
   Sobolev Independence Criterion —— 梯度正则化的 IPM
3. 概率图模型的结构学习方法
   将函数依赖性发掘问题 转化为 概率图模型的结构学习问题，可以通过识别逆协方差矩阵（精度矩阵）中的非零项来学习结构化分布的条件独立性，随机变量之间的条件依赖关系由逆协方差矩阵 $\Theta$ 的非零非对角项捕获。
   A Statistical Perspective on Discovering Functional Dependencies in Noisy Data

---

2. Discovering Reliable Approximate Functional Dependencies —— KDD 2017

该文章¹解决了 1.2 中的缺陷。对于缺陷一和二，其采用了修正后的 $F(\mathcal{X};Y)$，一定程度上解决了零基线缺失的问题；对于缺陷三，其采用了分支限界法选取 $top$-$k$ 个打分最高的，进一步地，使用 $\alpha \in (0,1]$ 来放宽约束（牺牲精度换时间）。

2.1. 问题描述

同1.1

---

2.2. 修正的打分函数

虽然在一般情况下很难确定偏差，但在独立性 $F(\mathcal{X};Y)=0$ 的假设下可能要容易得多。设 $b_0(\mathcal{X},Y,n)$ 为 $\mathcal{X}$ 和 $Y$ 完全独立时的偏差（完全独立时 $F$ 的估计值），即：
$$b_0(\mathcal{X},Y,n)=\mathbb{E}[\hat{F}(\mathcal{X};Y)|F(\mathcal{X};Y)=0]\text{\hspace{1em}(4)}$$
则将打分函数修正为：
$${\hat{F}}_0(\mathcal{X};Y)=\hat{F}(\mathcal{X};Y)-{\hat{b}}_0(\mathcal{X},Y,n)\text{\hspace{1em}(5)}$$

对于 ${\hat{b}}_0(\mathcal{X},Y,n)$ 的计算，可以采用排列模型：将 $n$ 条数据中的 $\mathcal{X}$ 不变，$n$ 条 $Y$ 值作全排列，则 $n!$ 个新的数据集中 $\mathcal{X}$ 和 $Y$ 的互信息的均值，就是在独立条件下对经验互信息的期望，也就是偏差 ${\hat{b}}_0$ 的分子部分：
$${\hat{m}}_o(\mathcal{X},Y,n)={\hat{\mathbb{E}}}_0\left[\hat{I}\left(\mathcal{X},Y_{\sigma }\right)\right]=\frac{1}{n!}\sum _{\sigma \in S_n}\hat{I}\left(\mathcal{X},Y_{\sigma }\right)\text{\hspace{1em}(6)}$$其中， $S_n$ 是全排列映射的集合，$Y_{\sigma }$ 是 $Y$ 经过全排列 $\sigma$ 映射后的向量。

---

但是，上面的表达式的时间复杂度过高，进一步将上述表达式重新表述为 contingency table cell values 的函数，并利用其对称性。设 $\mathcal{X}$ 和 $Y$ 的在数据集中的值域分别为 V ^ ( X ) = { x 1 , . . . , x R } \hat{V}(\mathcal{X}) = \{\mathbf{x}_1, ..., \mathbf{x}_R\} V^(X)={x1​,...,xR​} 和 V ^ ( Y ) = { y 1 , . . . , y C } \hat{V}(Y) = \{y_1, ..., y_C\} V^(Y)={y1​,...,yC​}。则设观察到的边际计数 $a_i=Count(\mathcal{X}={\mathbf{x}}_i)$， $b_j=Count(Y=y_j)$，联合计数 $c_{ij}=Count(\mathcal{X}={\mathbf{x}}_i,Y=y_j)$（$a$ 和 $b$ 对于每一个排列都是一定的，但是 $c$ 对于每个排列都各不同）。则独立条件下对经验互信息的期望可以被重写为：
$${\hat{m}}_0(\mathcal{X},Y,n)=\sum _{c\in \mathcal{T}}{\hat{\mathbb{P}}}_0[c]\hat{I}(c)=\sum _{c\in \mathcal{T}}{\hat{\mathbb{P}}}_0[c]\sum _{i=1}^R\sum _{j=1}^C\frac{c_{ij}}{n}\log \frac{c_{ij}n}{a_i{b}_j}\text{\hspace{1em}(7)}$$

---

进一步观察到，$c_{ij}=k$ 的概率可由超几何分布得到，即：
$${\hat{\mathbb{P}}}_0[c_{ij}=k]=h(k;a_i,b_j,n)\text{\hspace{1em}(8)}$$那么经验互信息的期望可以被重写为：
$${\hat{m}}_0(\mathcal{X},Y,n)=\sum _{i=1}^R\sum _{j=1}^C\sum _{k=\max \left(0,a_i+b_j-n\right)}^{\min \left(a_i,b_j\right)}h\left(k;a_i,b_j,n\right)\frac{k}{n}\log \frac{kn}{a_i{b}_j}\text{\hspace{1em}(9)}$$至此，时间复杂度降到了可计算的范围内。那么可以计算 ${\hat{b}}_0(\mathcal{X},Y,n)={\hat{m}}_0(\mathcal{X},Y,n)/\hat{H}(Y)$。这样得到的打分函数 ${\hat{F}}_0$ 有众多特点：
  ① ${\lim }_{n\to \infty }{\hat{F}}_0(\mathcal{X};Y)=F(\mathcal{X};Y)$；
  ② ${\hat{F}}_0$ 的上限仍是1；
  ③ ${\hat{b}}_0$ 惩罚了高维 $\mathcal{X}$ 很容易出现的虚假依赖关系。

---

2.3. 分支限界搜索策略

• 上界： $\bar{f}(\mathcal{X})=1-{\hat{b}}_0(\mathcal{X},Y,n)$
• 节点拓展： r ( X ) = { X ∪ { X i } : i > max ⁡ { j : X j ∈ X } } \mathbf{r}(\mathcal{X})=\left\{\mathcal{X} \cup\left\{X_{i}\right\}: i>\max \left\{j: X_{j} \in \mathcal{X}\right\}\right\} r(X)={X∪{Xi​}:i>max{j:Xj​∈X}}

目标是找到一个 $k$ 个元素的集合 ${\mathcal{F}}_k$，使得对于所有 $\mathcal{X}\in {\mathcal{F}}_k\text{ and }\mathcal{Z}\in \mathcal{P}(\mathcal{I})\backslash {\mathcal{F}}_k$，有 $\alpha {\hat{F}}_0(\mathcal{Z};Y)\le {\hat{F}}_0(\mathcal{X};Y)$

---

3. A Statistical Perspective on Discovering Functional Dependencies in Noisy Data —— SIGMOD 2020

对于 1.2 中的缺陷一、二，该文章²将函数依赖性的学习建立在概率图模型的结构学习方法之上，来直接发现条件独立性，以缓解过拟合的问题。

流程：Data Set Transformation $⟶$ Structure Learning $⟶$ FD generation

3.1. 问题描述

给定：一个与概率分布 $P_R$ 相关的关系模式 $R$ 。假设一个遵循模式 $R$ 的噪声数据集 $D^{\prime }$ 由以下过程生成：首先从 $P_R$ 中采样一个纯净的数据集 $D$，一个噪声信道模型在 $D$ 中引入噪声来生成 $D^{\prime }$ 。假设 $D$ 和 $D^{\prime }$ 有相同的单元格，但 $D^{\prime }$ 中的单元格可能比 $D$ 中对应的单元格有缺失值或不同值。
求得：识别生成纯净数据集 $D$ 的分布 $P_R$ 的函数依赖关系。

---

3.2. 数据集转换

令 $I_{ij}[Y]=1(t_i[Y]=t_j[Y])$，将公式 $(1)$ 松弛并写成如下形式：
$$\mathrm{Pr}\left(I_{ij}[Y]=1\mid t_i[\mathbf{X}]=t_j[\mathbf{X}]\right)=1-ϵ\text{\hspace{1em}(10)}$$通过学习上述模型而非直接学习原模型，可以 ① 使模型对原数据中的错误更不敏感，因为使用原数据的时候离群值会影响均值，进而大大影响估计协方差，而转换后受的影响小一些；② 使模型能估计各种分布数据中的函数依赖（包括断言、数据、文本等）。

对于 $R$ 中的任意一个特征 $A$，设 Z A ∈ { 0 , 1 } Z_A \in \{0,1\} ZA​∈{0,1} 变量表示从 $P_R$ 分布中采样的任意两个数据元组的属性 $A$ 的值是否相等。$\mathbf{Z}$ 则是包含变量 $Z_A$ 的向量变量。$\mathbf{Z}$ 的任何一个实例都表示一个二进制向量，它捕获了从 $P_R$ 采样的两个随机元组之间的属性值的相等性关系。进而可以讲式 $(10)$ 再次转化为：
$$\mathrm{Pr}\left(\mathbf{Z}[Y]=1\mid \mathbf{Z}[\mathcal{X}]=1\right)=1-ϵ\text{\hspace{1em}(11)}$$

这是一个 NP-hard 问题，提出两个模型来解决它，并将其转为结构学习问题：
  ① 为了近似由函数依赖引入的确定性约束，引入软逻辑（soft-logic）的技术³：$A_1\cap A_2\cap ...\cap A_k=\frac{1}{k}{\sum }_i{A}_i$。进而使用线性结构方程模型来近似函数依赖，即式 $(11)$ 表示的函数依赖也可以用下式表示：
$$\hat{\mathbf{Z}}[Y]=\frac{1}{|\mathcal{X}|}\sum _{X_i\in \mathcal{X}}\hat{\mathbf{Z}}\left[X_i\right]\text{\hspace{1em}(12)}$$
  ② 得到一个简洁的模型，设定一个与 $\hat{\mathbf{Z}}$ 中的属性对应的随机变量的全局顺序并假设无循环依赖关系，假设 $\mathcal{X}$ 都在 $Y$ 的前面（——下面的自回归矩阵B就是一个上三角矩阵）。再结合 ① ，则可以讲线性结构方程模型写为：
$$\hat{\mathbf{Z}}=B^T\hat{\mathbf{Z}}+ϵ\text{\hspace{1em}(13)}$$
其中，$B$ 是自回归矩阵，且是上三角矩阵。我们的目标就转化为求 $B$ 中的非0元素。$E[ϵ]=0$。

---

生成转化后数据的过程是：对于原始数据集 $D(n,k)$，根据每个特征 $A$ 都对 $D$ 中的元组进行排序，然后将每条元组和其下一条比较，生成一个 $\mathbf{Z}$ 实例，如此就能生成 $n\times k$ 个实例。

---

3.3. 线性结构的学习

在统计关系学习文献中，有一个众所周知的事实是，人们可以通过识别逆协方差矩阵（精度矩阵）中的非零项来学习结构化分布的条件独立性⁴⁵⁶，随机变量之间的条件依赖关系由逆协方差矩阵 $\Theta$ 的非零非对角项捕获，【见附录 B】。

对于式 $(13)$ 中的线性结构模型，其逆协方差矩阵可以被写为：
$$\Theta ={\Sigma }^{-1}=(I-B){\Omega }^{-1}(I-B{)}^T\text{\hspace{1em}(14)}$$【证明在附录 A 中】，其中 $I$ 是单位矩阵，$B$ 是自回归矩阵，$\Omega =cov[ϵ]$。

最优的稀疏逆协方差对应于以下优化问题的一个解⁷:
$$\underset{\Theta >0}{\min }f(\Theta ):=-\log \det (\Theta )+\mathrm{tr}(S\Theta )+\lambda ||\Theta |{|}_1\text{\hspace{1em}(15)}$$ 使用 graphical lasso⁸ 算法求解得到 $\hat{\Theta }$，它适用于支持具有大量属性的数据集。再将其分解，得到自回归矩阵 $\hat{B}$ 的估计。

---

3.4. 生成函数依赖集

最后使用估计的自回归矩阵 $\hat{B}$ 去生成函数依赖集。

---

4. Sobolev Independence Criterion

• Sobolev Independence Criterion(SIC)⁹ 是一种高维随机变量 $\mathbf{X}$ 和响应变量 $Y$ 之间的可解释依赖度量。
• SIC 可以看作是两个随机变量的联合分布和它们的边缘分布的乘积之间的一个梯度正则化的积分概率度量（IPM）—— 两个概率分布之间距离的度量。
• 在 RKHS 下其可以分解为特征重要性分数之和，相对于每一个特征的平均梯度的大小给出了该特征的重要性分数，因此可用于非线性特征选择。

---

4.1. SIC —— 可解释的依赖度量

动机：特征选择：首先通过一个 选择在两个随机变量 $\mathcal{X}$ 和 $\mathcal{Y}$ 之间保持最大依赖性的特征选择方法 来激励 SIC 中的梯度稀疏性正则化。有了1.3中互信息的广义定义，特征选择问题可以形式化为：寻找一个稀疏的选择器 $\omega \in {\mathbb{R}}^{d_x}$ 使得 $D\left(p_{w\odot x,y},p_{w\odot x}{p}_y\right)$ 最大，那么特征选择问题就可以写为：
$$(\mathrm{P}):\underset{w}{\sup }\underset{f\in \mathcal{F}}{\sup }{\mathbb{E}}_{p_{xy}}f(w\odot x,y)-{\mathbb{E}}_{p_x{p}_y}f(w\odot x,y)-\lambda \Vert w{\Vert }_{{\ell }_0}\text{\hspace{1em}(16)}$$进一步可以将该问题重新表述如下：
$$(\mathrm{S}\mathrm{I}\mathrm{C}):\underset{f\in \mathcal{F}}{\sup }{\mathbb{E}}_{p_{xy}}f(x,y)-{\mathbb{E}}_{p_x{p}_y}f(x,y)-\lambda P_S(f)\text{\hspace{1em}(17)}$$其中 $P_S(f)$ 是一个惩罚项，控制见证函数 $f$ 梯度的稀疏度。通过梯度控制 (SIC) 中见证函数的非线性稀疏性比初始形式 $(P)$ 中的线性稀疏性控制更一般和强大，因为它考虑了与其他变量的非线性相互作用。

稀疏强度诱发的梯度惩罚：① 在图像处理中，总变量范数被用作正则化器来诱导平滑性；② 索波列夫空间中的样条和流形学习利用梯度正则化来提高估计量的光滑性和正则性；③ 在神经网络的背景下，梯度惩罚通过双重反向传播成为可能。设 $\mu$ 是一个分布，最常用的梯度惩罚是：
$${\Omega }_{L^2}(f)={\mathbb{E}}_{(x,y)\sim \mu }||{\nabla }_{x}f(x,y)||\text{\hspace{1em}(18)}$$这种惩罚促进了平滑性，它没有控制所期望的稀疏性。因此，我们选择使用非线性稀疏性惩罚¹⁰：
$$\begin{array}{rl}& {\Omega }_{{\ell }_0}(f)=\#\left\{{j\left|{\mathbb{E}}_{(x,y)\sim \mu }\right|\frac{\partial f(x,y)}{\partial x_j}|}^2=0\right\},\text{ and its relaxation }:\\ & {\Omega }_S(f)=\sum _{j=1}^{d_x}\sqrt{{\mathbb{E}}_{(x,y)\sim \mu }{\left|\frac{\partial f(x,y)}{\partial x_j}\right|}^2}\end{array}\text{\hspace{1em}(19)}$$如果函数f是连续可微的，并且 the support of $\mu$ is connected，SIC 可被定义如下：
$$\begin{array}{rl}{\mathrm{SIC}}_{{\left(L_1\right)}^2}\left(p_{xy},p_x{p}_y\right)=\underset{f\in \mathcal{F}}{\sup }& {\mathbb{E}}_{p_{xy}}f(x,y)-{\mathbb{E}}_{p_x{p}_y}f(x,y)\\ & -\frac{\lambda }{2}{\left({\Omega }_S(f)\right)}^2-\frac{\rho }{2}{\mathbb{E}}_{\mu }{f}^2(x,y)\end{array}\text{\hspace{1em}(20)}$$上式添加了一个类似 $l_1$ 的惩罚项 ${\Omega }_S(f)$ 来保证稀疏性；又添加了一个类似 $l_2$ 的惩罚项 ${\mathbb{E}}_{\mu }{f}^2(x,y)$ 来保证稳定性。

经验估计 SIC：如果设 $\mu =p_x{p}_y$，给定服从概率分布 $p_{xy}$ 的样本 { ( x i , y i ) , i = 1 , . . . , N } \{(x_i,y_i), i=1, ...,N\} {(xi​,yi​),i=1,...,N} 和服从概率分布 $p_x{p}_y$ 的样本 { ( x i , y ~ i ) , i = 1 , . . . , N } \{(x_i,\tilde{y}_i), i=1, ...,N\} {(xi​,y~​i​),i=1,...,N}，SIC 可以估计如下：
$$\begin{array}{r}{\widehat{\mathrm{SIC}}}_{{\left(L_1\right)}^2}\left(p_{xy},p_x{p}_y\right)=\underset{f\in \mathcal{F}}{\sup }\frac{1}{N}\sum _{i=1}^{N}f\left(x_i,y_i\right)-\frac{1}{N}\sum _{i=1}^{N}f\left(x_i,{\tilde{y}}_i\right)\\ -\frac{\lambda }{2}{\left({\hat{\Omega }}_S(f)\right)}^2-\frac{\rho }{2}\frac{1}{N}\sum _{i=1}^N{f}^2\left(x_i,{\tilde{y}}_i\right)\end{array}\text{\hspace{1em}(21)}$$其中 ${\hat{\Omega }}_S(f)={\sum }_{j=1}^{d_x}\sqrt{\frac{1}{N}{\sum }_{i=1}^N{\left|\frac{\partial f\left(x_i,{\tilde{y}}_i\right)}{\partial x_j}\right|}^2}$.

---

4.2. 具有 $\eta$ - trick 的 SIC 的等效形式

SIC 在实践中是一个难以优化的函数，会引起非平滑性和有偏性期望估计 (non-smoothness and biased expectation estimation)：① 梯度惩罚中，期望出现在平方根之后 —— non-smooth；② 期望在非线性表达式内，当使用随机梯度下降法对 SIC 目标进行优化时，引入了一个梯度估计偏差。解决的方法是引入辅助变量 ${\eta }_j$，使期望在目标中呈线性关系
引理：Let $a_j,j=1\dots d,a_j>0$ we have: ( ∑ j = 1 d a j ) 2 = inf ⁡ { ∑ j = 1 d a j η j : η , η j > 0   a n d   ∑ j = 1 d η j = 1 } \left(\sum_{j=1}^{d} \sqrt{a_{j}}\right)^{2}=\inf \{\sum_{j=1}^{d} \frac{a_{j}}{\eta_{j}} : \eta, \eta_{j}>0\ and\ \sum_{j=1}^{d} \eta_{j}=1\} (∑j=1d​aj​ ​)2=inf{∑j=1d​ηj​aj​​:η,ηj​>0 and ∑j=1d​ηj​=1}, optimum achieved at ${\eta }_j=\sqrt{a_j}/{\sum }_j\sqrt{a_j}$.

首先通过添加 $ϵ\in (0,1)$ 解决平方根的非光滑性的问题，则
$${\left({\Omega }_{S,\epsilon }(f)\right)}^2=\inf \left\{\sum _{j=1}^{d_x}\frac{{\mathbb{E}}_{p_x{p}_y}{\left|\frac{\partial f(x,y)}{\partial x_j}\right|}^2+\epsilon }{{\eta }_j}:\eta ,{\eta }_j>0,\sum _{j=1}^{d_x}{\eta }_j=1\right\}\text{\hspace{1em}(22)}$$那么就能得到 $ϵ$ 扰动下的 SIC：
$${\mathrm{SIC}}_{{\left(L_1\right)}^2,\epsilon }\left(p_{xy},p_x{p}_y\right)=-\inf \left\{L_{\epsilon }(f,\eta ):f\in \mathcal{F},{\eta }_j,{\eta }_j>0,\sum _{j=1}^{d_x}{\eta }_j=1\right\}\text{\hspace{1em}(23)}$$其中，$L_{\epsilon }(f,\eta )=-\Delta \left(f,p_{xy},p_x{p}_y\right)+\frac{\lambda }{2}{\sum }_{j=1}^{d_x}\frac{{\mathbb{E}}_{p_x{p}_y}{\left|\frac{\partial f(x,y)}{\partial x_j}\right|}^2+\epsilon }{{\eta }_j}+\frac{\rho }{2}{\mathbb{E}}_{p_x{p}_y}{f}^2(x,y)$，并且 $\Delta \left(f,p_{xy},p_x{p}_y\right)={\mathbb{E}}_{p_{xy}}f(x,y)-{\mathbb{E}}_{p_x{p}_y}f(x,y)$.

经验估计SIC：那么就可以根据样本数据来估计经验 SIC：
$${\widehat{\mathrm{SIC}}}_{{\left(L_1\right)}^2,\epsilon }\left(p_{xy},p_x{p}_y\right)=-\inf \left\{{\hat{L}}_{\epsilon }(f,\eta ):f\in \mathcal{F},{\eta }_j,{\eta }_j>0,\sum _{j=1}^{d_x}{\eta }_j=1\right\}\text{\hspace{1em}(24)}$$ 其中${\hat{L}}_{\epsilon }(f,\eta )=-\hat{\Delta }\left(f,p_{xy},p_x{p}_y\right)+\frac{\lambda }{2}{\sum }_{j=1}^{d_x}\frac{\frac{1}{N}{\sum }_{i=1}^N{\left|\frac{\partial f\left(x_i,{\tilde{y}}_i\right)}{\partial x_j}\right|}^2+\epsilon }{{\eta }_j}+\frac{\rho }{2}\frac{1}{N}{\sum }_{i=1}^N{f}^2\left(x_i,{\tilde{y}}_i\right)$，并且 $\hat{\Delta }\left(f,p_{xy},p_x{p}_y\right)=\frac{1}{N}{\sum }_{i=1}^{N}f\left(x_i,y_i\right)-\frac{1}{N}{\sum }_{i=1}^{N}f\left(x_i,{\tilde{y}}_i\right)$

---

4.3. 固定特征空间中的 SIC

---

5. Measuring Statistical Dependence with Hilbert-Schmidt Norms

¹¹提出了一种基于 再生核希尔伯特空间（RKHSs） 中协方差算子特征谱的独立性标准，利用 交叉协方差算子（cross-covariance operator） 的整个频谱来确定，即奇异值的平方之和——其平方希尔伯特-施密特范数。① 它比其他的核依赖测试方法简单，并且不需要用户定义规则。② 它在大数据样本量的情况下能以指数收敛到一个好的结果。最后使用 独立成分分析（ICA） 验证了算法的优越性。

5.1. 再生希尔伯特空间理论

cross-covariance operator -vs- covariance operator：
简而言之，交叉协方差算子从一个空间映射到另一个空间，而协方差算子从一个空间映射到自身。在线性代数情况下：
the covariance is    $C_{xx}:={\mathbf{E}}_{\mathbf{x}}\left[\mathbf{x}{\mathbf{x}}^{\top }\right]-{\mathbf{E}}_{\mathbf{x}}[\mathbf{x}]{\mathbf{E}}_{\mathbf{x}}\left[{\mathbf{x}}^{\top }\right]$,
the cross-covariance is $C_{xy}:={\mathbf{E}}_{\mathbf{x},\mathbf{y}}\left[\mathbf{x}{\mathbf{y}}^{\top }\right]-{\mathbf{E}}_{\mathbf{x}}[\mathbf{x}]{\mathbf{E}}_{\mathbf{y}}\left[{\mathbf{y}}^{\top }\right]$.

再生核希尔伯特空间（RKHSs）：
假设一个希尔伯特空间 $\mathcal{F}$ 包含了所有函数 $f:\mathcal{X}\to \mathbb{R}$。如果对于 $\forall x\in \mathcal{X}$，其对应的求值泛函 ${\delta }_x:\mathcal{F}\to R$ 都线性有界，即 $\forall x,|{\delta }_x(f)|=|f(x)|\le M||f||$。那么就称这个希尔伯特空间为再生核希尔伯特空间，那么对于 $\forall x\in \mathcal{X}$，都有一个相应的 $\varphi (x)\in \mathcal{F}$，使得 $<\varphi (x),\varphi (x^{\prime })>=\kappa (x,x^{\prime })$。反过来可以证明，每个连续的核都对应一个可分解的 RKHS（有一组完备的正交基）。

希尔伯特-施密特范数（Hilbert-Schmidt norm）：
设 $C:\mathcal{G}\to \mathcal{F}$ 是一个线性算子，$u_i$ 和 $v_j$ 分别是 $\mathcal{F}$ 和 $\mathcal{G}$ 的正交基，则 HS范数可被定义为：
$$\Vert C{\Vert }_{\mathrm{H}\mathrm{S}}^2:=\sum _{i,j}{⟨C{v}_i,u_j⟩}_{\mathcal{F}}^2$$结果相当于矩阵 $C$ 中所有元素的平方和。

希尔伯特施密特算子（Hilbert-Schmidt Operator）：
如果 HS范数存在，那么一个线性算子被称为 希尔伯特施密特算子，希尔伯特施密特算子的集合 $HS(\mathcal{G},\mathcal{F}):\mathcal{G}\to \mathcal{F}$ 也是一个可分的希尔伯特空间，内积：
$$⟨C,D{⟩}_{\mathrm{H}\mathrm{S}}:=\sum _{i,j}{⟨C{v}_i,u_j⟩}_{\mathcal{F}}{⟨D{v}_i,u_j⟩}_{\mathcal{F}}.$$

张量积（Tensor product）：
设 $f\in \mathcal{F}$ and $g\in \mathcal{G}$. 那么张量积算子 $f\otimes g:\mathcal{G}\to \mathcal{F}$ 被定义为
$$(f\otimes g)h:=f⟨g,h{⟩}_{\mathcal{G}}\text{ for all }h\in \mathcal{G}.$$此外，可以计算 $f\otimes g$ 的 HS范数：
$$\Vert f\otimes g{\Vert }_{\mathrm{H}\mathrm{S}}^2=⟨f\otimes g,f\otimes g{⟩}_{\mathrm{H}\mathrm{S}}=⟨f,(f\otimes g)g{⟩}_{\mathcal{F}}=⟨f,f{⟩}_{\mathcal{F}}⟨g,g{⟩}_{\mathcal{G}}=\Vert f{\Vert }_{\mathcal{F}}^2\Vert g{\Vert }_{\mathcal{G}}^2$$

5.2. 交叉协方差算子

设 $\mathcal{F}$ 和 $\mathcal{G}$ 分别对应概率度量 $p_x$ 和 $p_y$，设 $x,y$ 投射到 $\mathcal{F},\mathcal{G}$ 上的值的均值元素分别为：
$$\begin{array}{rl}{⟨{\mu }_x,f⟩}_{\mathcal{F}}:={\mathbf{E}}_x\left[⟨\varphi (x),f{⟩}_{\mathcal{F}}\right]& ={\mathbf{E}}_x[f(x)]\\ {⟨{\mu }_y,g⟩}_{\mathcal{G}}:={\mathbf{E}}_y\left[⟨\psi (y),g{⟩}_{\mathcal{G}}\right]& ={\mathbf{E}}_y[g(y)]\end{array}$$此外：
$${\Vert {\mu }_x\Vert }_{\mathcal{F}}^2={\mathbf{E}}_{x,x^{\prime }}\left[{⟨\varphi (x),\varphi \left(x^{\prime }\right)⟩}_{\mathcal{F}}\right]={\mathbf{E}}_{x,x^{\prime }}\left[k\left(x,x^{\prime }\right)\right]$$其中，$x$ 和 $x^{\prime }$ 是取自分布 $p_x$ 的独立副本。
最终可以定义 交叉协方差算子 为：
$$C_{xy}:={\mathbf{E}}_{x,y}\left[\left(\varphi (x)-{\mu }_x\right)\otimes \left(\psi (y)-{\mu }_y\right)\right]=\underset{:={\tilde{C}}_{xy}}{\underbrace{{\mathbf{E}}_{x,y}[\varphi (x)\otimes \psi (y)]}}-\underset{:=M_{xy}}{\underbrace{{\mu }_x\otimes {\mu }_y}}.$$

5.3. 希尔伯特-施密特独立标准（Hilbert-Schmidt Independence Criterion）

HSIC 定义： 给定可分的 RKHSs $\mathcal{F},\mathcal{G}$ 和一个联合分布 $p_{xy}$ over $(\mathcal{X}\times \mathcal{Y},\Gamma \times \Lambda )$，定义 HSIC 为相关的交叉协方差算子 $C_{xy}$ 的 平方 HS范数:
$$\mathrm{HSIC}\left(p_{xy},\mathcal{F},\mathcal{G}\right):={\Vert C_{xy}\Vert }_{\mathrm{H}\mathrm{S}}^2\cdot$$
为了计算，将 HSIC 写为核函数形式：
$$\begin{array}{rl}\mathrm{HSIC}\left(p_{xy},\mathcal{F},\mathcal{G}\right)& ={⟨{\tilde{C}}_{xy}-M_{xy},{\tilde{C}}_{xy}-M_{xy}⟩}_{\mathrm{H}\mathrm{S}}\\ & ={\mathbf{E}}_{x,y,x^{\prime },y^{\prime }}\left[⟨\varphi (x)\otimes \psi (y),\varphi (x)\otimes \psi (y){⟩}_{\mathrm{H}\mathrm{S}}\right]\\ & -2{\mathbf{E}}_{x,y}\left[{⟨{\mu }_x\otimes {\mu }_y,\varphi (x)\otimes \psi (y)⟩}_{\mathrm{H}\mathrm{S}}\right]+{⟨{\mu }_x\otimes {\mu }_y,{\mu }_x\otimes {\mu }_y⟩}_{\mathrm{H}\mathrm{S}}\\ & ={\mathbf{E}}_{x,x^{\prime },y,y^{\prime }}\left[k\left(x,x^{\prime }\right)l\left(y,y^{\prime }\right)\right]+{\mathbf{E}}_{x,x^{\prime }}\left[k\left(x,x^{\prime }\right)\right]{\mathbf{E}}_{y,y^{\prime }}\left[l\left(y,y^{\prime }\right)\right]\\ & -2{\mathbf{E}}_{x,y}\left[{\mathbf{E}}_{x^{\prime }}\left[k\left(x,x^{\prime }\right)\right]{\mathbf{E}}_{y^{\prime }}\left[l\left(y,y^{\prime }\right)\right]\right]\end{array}$$其中，${\mathbf{E}}_{x,y,x^{\prime },y^{\prime }}$ 代表从分布 $p_{xy}$ 中提取的独立对 $(x,y)$ 和 $(x^{\prime },y^{\prime })$ 上的期望。

Return

Appendix A:

由式 $(13)$ 且 $B$ 是上三角矩阵，$ϵ=\mathbf{Z}-B^T\mathbf{Z}=(I-B^T)\mathbf{Z}=(I-B{)}^T\mathbf{Z}$，则有：
$$\begin{array}{rl}cov(ϵ)& =E[(ϵ-E(ϵ))(ϵ-E(ϵ){)}^T]\\ & =E[(I-B{)}^T(\mathbf{Z}-E(\mathbf{Z}))(\mathbf{Z}-E(\mathbf{Z}){)}^T(I-B)]\\ & =(I-B{)}^{T}E[(\mathbf{Z}-E(\mathbf{Z}))(\mathbf{Z}-E(\mathbf{Z}){)}^T](I-B)\\ & =(I-B{)}^{T}cov(\mathbf{Z})(I-B)\end{array}$$所以有 $\Sigma =(I-B{)}^{-T}\Omega (I-B{)}^{-1}$，进而 $\Theta ={\Sigma }^{-1}=(I-B)\Omega (I-B{)}^T$

Return

Appendix B:

首先有：$\Omega$ 是一个对角阵，因为对于任意 $j\ne k$，${ϵ}_j\perp \perp {ϵ}_k$，则有 $\mathrm{E}[{ϵ}_j{ϵ}_k]=\mathrm{E}\left[{ϵ}_j\right]\cdot \mathrm{E}\left[{ϵ}_k\right]=0$。再结合式 $(14)$，就可以得到引理1：
$$\begin{array}{rlrl}{\Theta }_{jk}& =-{\sigma }_k^{-2}{B}_{jk}+\sum _{\ell >k}{\sigma }_{\ell }^{-2}{B}_{j\ell }{B}_{k\ell },& & \forall j<k,\\ {\Theta }_{jj}& ={\sigma }_j^{-2}+\sum _{\ell >j}{\sigma }_{\ell }^{-2}{B}_{j\ell }^2,& & \forall j\end{array}$$
进而就能得到定理1：
  对于任意 $j\ne k$，如果 $(j,k)$ 不是 $\mathcal{M}(G)$ 中的一条边，则 ${\Theta }_{jk}=0$。

证明：如果 $(j,k)$ 不是 $\mathcal{M}(G)$ 中的一条边，则意味着在原来的图中，$j$ 、$k$ 互不为父节点 => $B_{jk}=0$，且它们没有公共子节点 => 对于 $l>k$，$B_{jl}=0$ 或 $B_{kl}=0$。则由 引理1 可以证明定理的正确性。

---

1. Mandros P, Boley M, Vreeken J. Discovering reliable approximate functional dependencies[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017: 355-363. ↩︎

2. Zhang Y, Guo Z, Rekatsinas T. A statistical perspective on discovering functional dependencies in noisy data[C]//Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. 2020: 861-876. ↩︎

3. Stephen H. Bach, Matthias Broecheler, Bert Huang, and Lise Getoor. 2017. Hinge-loss Markov Random Fields and Probabilistic Soft Logic. J. Mach. Learn. Res. 18, 1 (Jan. 2017), 3846–3912. ↩︎

4. Daphne Koller and Nir Friedman. 2009. Probabilistic Graphical Models: Principles and Techniques - Adaptive Computation and Machine Learning. The MIT Press. ↩︎

5. Po-Ling Loh and Peter Bühlmann. 2014. High-dimensional learning of
   linear causal networks via inverse covariance estimation. The Journal
   of Machine Learning Research 15, 1 (2014), 3065–3105. ↩︎

6. Garvesh Raskutti and Caroline Uhler. 2018. Learning directed acyclic
   graph models based on sparsest permutations. Stat 7, 1 (2018), e183. ↩︎

7. Nicolai Meinshausen, Peter Bühlmann, et al. 2006. High-dimensional
   graphs and variable selection with the lasso. The annals of statistics
   34, 3 (2006), 1436–1462. ↩︎

8. Jerome Friedman, Trevor Hastie, and Robert Tibshirani. 2008. Sparse inverse covariance estimation with the graphical lasso. Biostatistics 9, 3 (2008), 432–441. ↩︎

9. Mroueh Y, Sercu T, Rigotti M, et al. Sobolev independence criterion[J]. Advances in Neural Information Processing Systems, 2019, 32. ↩︎

10. Lorenzo Rosasco, Silvia Villa, Sofia Mosci, Matteo Santoro, and Alessandro Verri. Nonparametric sparsity and regularization. J. Mach. Learn. Res., 2013. ↩︎

11. Gretton A, Bousquet O, Smola A, et al. Measuring statistical dependence with Hilbert-Schmidt norms[C]//International conference on algorithmic learning theory. Springer, Berlin, Heidelberg, 2005: 63-77. ↩︎