盲源分离解读

引言

在现实世界中，我们常常遇到多种信号混合在一起的情况。盲源分离（Blind Source Separation，BSS）旨在从混合信号中恢复出原始信号，而不依赖于对信号源或混合过程的先验知识。

问题的数学表述

基本模型

假设我们有 $n$ 个源信号 $\mathbf{s}(t)=[s_1(t),s_2(t),\dots ,s_n(t){]}^T\in {\mathbb{R}}^n$，它们经过某种未知的混合矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 混合后，得到 $m$ 个观测信号 $\mathbf{x}(t)=[x_1(t),x_2(t),\dots ,x_m(t){]}^T\in {\mathbb{R}}^m$。考虑加性噪声 $\mathbf{n}(t)\in {\mathbb{R}}^m$，混合模型可以表示为：

$$\mathbf{x}(t)=\mathbf{As}(t)+\mathbf{n}(t)$$

在频域中，混合模型可以表示为：

$$\mathbf{X}(\omega )=\mathbf{A}(\omega )\mathbf{S}(\omega )+\mathbf{N}(\omega )$$

其中 $\mathbf{X}(\omega )$、$\mathbf{S}(\omega )$ 和 $\mathbf{N}(\omega )$ 分别是 $\mathbf{x}(t)$、$\mathbf{s}(t)$ 和 $\mathbf{n}(t)$ 的傅里叶变换。

盲源分离的目标是找到一个分离矩阵 $\mathbf{W}\in {\mathbb{R}}^{n\times m}$，使得：

$$\mathbf{y}(t)=\mathbf{Wx}(t)\approx \mathbf{PDs}(t)$$

其中 $\mathbf{y}(t)\in {\mathbb{R}}^n$ 是对源信号的估计，$\mathbf{P}\in {\mathbb{R}}^{n\times n}$ 是置换矩阵，$\mathbf{D}\in {\mathbb{R}}^{n\times n}$ 是对角矩阵。

混合模型的数学分类

1. 瞬时线性混合

瞬时线性混合是最简单的混合模型，假设混合过程是线性的且没有时间延迟：

$$x_i(t)=\sum _{j=1}^n{a}_{ij}{s}_j(t),i=1,2,\dots ,m$$

这可以表示为矩阵形式：$\mathbf{x}(t)=\mathbf{As}(t)$，其中 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 是常数矩阵。

2. 卷积混合

卷积混合考虑了信号在传播过程中的时间延迟和多径效应：

$$x_i(t)=\sum _{j=1}^n\sum _{k=0}^{L-1}{a}_{ij}(k)s_j(t-k),i=1,2,\dots ,m$$

其中 $a_{ij}(k)$ 是从源 $j$ 到传感器 $i$ 的有限冲激响应（FIR）滤波器的第 $k$ 个系数，$L$ 是滤波器长度。

用Z变换表示为：

$$\mathbf{X}(z)=\mathbf{A}(z)\mathbf{S}(z)$$

其中 $\mathbf{A}(z)\in {\mathbb{C}}^{m\times n}$ 是混合矩阵在Z域中的表示：

$$\mathbf{A}(z)=\sum _{k=0}^{L-1}{\mathbf{A}}_k{z}^{-k}$$

对应的分离系统为：

$$\mathbf{Y}(z)=\mathbf{W}(z)\mathbf{X}(z)$$

其中 $\mathbf{W}(z)\in {\mathbb{C}}^{n\times m}$ 是分离矩阵在Z域中的表示。

3. 非线性混合

非线性混合假设信号之间的混合是非线性的：

$$\mathbf{x}(t)=\mathbf{f}(\mathbf{s}(t))$$

其中 $\mathbf{f}:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 是一个非线性函数。更具体地，可以表示为：

$$x_i(t)=f_i(s_1(t),s_2(t),\dots ,s_n(t))+n_i(t),i=1,2,\dots ,m$$

针对非线性混合，我们通常使用泛函级数展开来近似非线性函数：

$$f_i(\mathbf{s})=\sum _{j=1}^n{a}_{ij}^{(1)}{s}_j+\sum _{j_1=1}^n\sum _{j_2=1}^n{a}_{i{j}_1{j}_2}^{(2)}{s}_{j_1}{s}_{j_2}+\sum _{j_1=1}^n\sum _{j_2=1}^n\sum _{j_3=1}^n{a}_{i{j}_1{j}_2{j}_3}^{(3)}{s}_{j_1}{s}_{j_2}{s}_{j_3}+\cdots$$

其中 $a_{i{j}_1{j}_2\dots j_r}^{(r)}$ 是 $r$ 阶Volterra核的系数。

主要分离理论与算法

独立成分分析（ICA）

独立成分分析是最广泛使用的盲源分离方法，基于以下关键假设：

1. 源信号之间是统计独立的
2. 最多只有一个源信号服从高斯分布
3. 混合矩阵是满秩的

数学原理

ICA的目标是找到一个变换 $\mathbf{W}$，使得变换后的信号 $\mathbf{y}=\mathbf{Wx}$ 中的各个分量尽可能独立。

两个随机变量 $y_1$ 和 $y_2$ 的独立性可以通过它们的联合概率密度函数与边缘概率密度函数的关系来表示：

$$p(y_1,y_2)=p(y_1)p(y_2)$$

对于多个随机变量，其互信息（mutual information）定义为：

$$I(y_1,y_2,\dots ,y_n)=\sum _{i=1}^{n}H(y_i)-H(y_1,y_2,\dots ,y_n)$$

其中 $H(y)$ 表示微分熵：

$$H(y)=-\int p(y)\log p(y)dy$$

互信息等于零当且仅当所有随机变量相互独立。因此，ICA的目标可以表示为最小化互信息：

$$\underset{\mathbf{W}}{\min }I(y_1,y_2,\dots ,y_n)$$

由于直接计算互信息比较困难，实际算法常使用其他度量，如非高斯性、负熵等。

非高斯性与负熵

根据中心极限定理，多个独立随机变量的线性组合会比原始变量更接近高斯分布。因此，最大化非高斯性可以用来分离独立成分。

峰度（kurtosis）是衡量非高斯性的一种方式，定义为：

kurt ⁡ ( y ) = E { y 4 } − 3 ( E { y 2 } ) 2 \operatorname{kurt}(y) = E\{y^4\} - 3(E\{y^2\})^2 kurt(y)=E{y4}−3(E{y2})2

超高斯分布（如拉普拉斯分布）的峰度为正，而次高斯分布（如均匀分布）的峰度为负。

负熵（negentropy）是另一种更稳健的非高斯性度量，定义为：

$$J(y)=H(y_{\text{gauss}})-H(y)$$

其中 $y_{\text{gauss}}$ 是与 $y$ 具有相同方差的高斯随机变量。

负熵的近似计算公式为：

J ( y ) ≈ ∑ i = 1 p k i [ E { G i ( y ) } − E { G i ( ν ) } ] 2 J(y) \approx \sum_{i=1}^{p} k_i[E\{G_i(y)\} - E\{G_i(\nu)\}]^2 J(y)≈i=1∑p​ki​[E{Gi​(y)}−E{Gi​(ν)}]2

其中 $G_i$ 是非二次非线性函数，常用的选择有：

$$G_1(u)=\frac{1}{a_1}\log \cosh (a_{1}u),G_2(u)=-\exp (-u^2/2)$$

其中 $1\le a_1\le 2$ 是一个常数，$\nu$ 是均值为0、方差为1的高斯随机变量，$k_i$ 是正常数。

FastICA算法

FastICA是一种快速高效的ICA实现算法，基于固定点迭代方法。其目标函数是最大化每个分离成分的非高斯性，同时保持各个分离成分之间的正交性。

预处理步骤：

1. 中心化数据：$\mathbf{x}\leftarrow \mathbf{x}-E[\mathbf{x}]$
2. 白化：首先计算协方差矩阵 $\mathbf{C}=E[{\mathbf{xx}}^T]$，进行特征值分解得到 $\mathbf{C}=\mathbf{ED}{\mathbf{E}}^T$，然后计算白化矩阵 $\mathbf{V}={\mathbf{D}}^{-1/2}{\mathbf{E}}^T$，白化后的数据为 $\mathbf{z}=\mathbf{Vx}$，满足 $E[{\mathbf{zz}}^T]=\mathbf{I}$

对每个成分 ${\mathbf{w}}_i$ 的迭代方法：

1. 初始化 ${\mathbf{w}}_i$ 为单位范数的随机向量
2. 更新：${\mathbf{w}}_i^{+}\leftarrow E[\mathbf{z}g({\mathbf{w}}_i^T\mathbf{z})]-E[g^{\prime }({\mathbf{w}}_i^T\mathbf{z})]{\mathbf{w}}_i$
3. 单位化：${\mathbf{w}}_i\leftarrow {\mathbf{w}}_i^{+}/\Vert {\mathbf{w}}_i^{+}\Vert$
4. 如果 ${\mathbf{w}}_i$ 未收敛，返回步骤2
5. 对于 $j<i$ 的所有 $j$，进行偏移正交化：${\mathbf{w}}_i\leftarrow {\mathbf{w}}_i-{\sum }_{j=1}^{i-1}({\mathbf{w}}_i^T{\mathbf{w}}_j){\mathbf{w}}_j$
6. 归一化：${\mathbf{w}}_i\leftarrow {\mathbf{w}}_i/\Vert {\mathbf{w}}_i\Vert$

其中 $g(u)$ 是 $G(u)$ 的导数，$g^{\prime }(u)$ 是 $g(u)$ 的导数。常用的 $g(u)$ 函数有：

$$g_1(u)=\tanh (a_{1}u),g_2(u)=u\exp (-u^2/2)$$

自然梯度算法

自然梯度算法是另一种常用的ICA算法，它考虑了参数空间的黎曼几何结构。自然梯度的更新规则为：

Δ W ∝ η [ ( I − E { g ( y ) y T } ) W ] \Delta \mathbf{W} \propto \eta [(\mathbf{I} - E\{\mathbf{g}(\mathbf{y})\mathbf{y}^T\})\mathbf{W}] ΔW∝η[(I−E{g(y)yT})W]

其中 $\mathbf{g}(\mathbf{y})=[g(y_1),g(y_2),\dots ,g(y_n){]}^T$，$\eta$ 是学习率。

主成分分析（PCA）

主成分分析是一种广泛使用的降维方法，也常作为ICA的预处理步骤。PCA通过寻找数据的最大方差方向来降维。

数学原理

给定数据矩阵 $\mathbf{X}\in {\mathbb{R}}^{m\times N}$，其中 $m$ 是特征维度，$N$ 是样本数量。首先将数据中心化：$\mathbf{X}\leftarrow \mathbf{X}-\mu 1^T$，其中 $\mu =\frac{1}{N}X1$ 是均值向量，$1$ 是全1向量。

PCA的目标是找到一组正交单位向量 { u 1 , u 2 , … , u m } \{\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_m\} {u1​,u2​,…,um​}，使得投影后的方差最大：

$${\mathbf{u}}_i=\arg \underset{\Vert \mathbf{u}\Vert =1,\mathbf{u}\perp {\mathbf{u}}_j,j<i}{\max }\frac{1}{N}\sum _{j=1}^N({\mathbf{u}}^T{\mathbf{x}}_j{)}^2=\arg \underset{\Vert \mathbf{u}\Vert =1,\mathbf{u}\perp {\mathbf{u}}_j,j<i}{\max }{\mathbf{u}}^T\mathbf{Cu}$$

其中 $\mathbf{C}=\frac{1}{N}\mathbf{X}{\mathbf{X}}^T$ 是数据的协方差矩阵。

这个问题的解可以通过对协方差矩阵 $\mathbf{C}$ 进行特征值分解得到：

$$\mathbf{C}=\mathbf{U\Lambda }{\mathbf{U}}^T$$

其中 $\mathbf{U}=[{\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_m]$ 是特征向量矩阵，$\mathbf{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m)$ 是特征值对角矩阵，且 ${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_m$。

PCA降维到 $r$ 维可以通过保留前 $r$ 个主成分实现：

$$\mathbf{Y}={\mathbf{U}}_r^T\mathbf{X}$$

其中 ${\mathbf{U}}_r=[{\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_r]$，$\mathbf{Y}\in {\mathbb{R}}^{r\times N}$ 是降维后的数据。

PCA与白化

白化是ICA的重要预处理步骤，其目的是将数据转换为零均值、单位协方差矩阵的形式。白化变换可以通过PCA实现：

$$\mathbf{Z}={\mathbf{\Lambda }}^{-1/2}{\mathbf{U}}^T\mathbf{X}$$

其中 $\mathbf{Z}\in {\mathbb{R}}^{m\times N}$ 是白化后的数据，满足 $\frac{1}{N}\mathbf{Z}{\mathbf{Z}}^T=\mathbf{I}$。

白化的优点在于：

1. 降低数据的复杂性，简化后续ICA算法
2. 消除数据之间的二阶相关性
3. 减少估计参数的数量，从 $mn$ 减少到 $n(n-1)/2$

非负矩阵分解（NMF）

非负矩阵分解适用于数据为非负的情况，如图像、文本词频、音频功率谱等。NMF的目标是将非负矩阵 $\mathbf{V}\in {\mathbb{R}}_{+}^{m\times n}$ 分解为两个非负矩阵的乘积：

$$\mathbf{V}\approx \mathbf{WH}$$

其中 $\mathbf{W}\in {\mathbb{R}}_{+}^{m\times r}$，$\mathbf{H}\in {\mathbb{R}}_{+}^{r\times n}$，且 $r\le \min (m,n)$。

目标函数

NMF常用的目标函数有：

1. Frobenius范数（对应欧氏距离）：

$$D_F(\mathbf{V}||\mathbf{WH})=\frac{1}{2}\Vert \mathbf{V}-\mathbf{WH}{\Vert }_F^2=\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^n(V_{ij}-(\mathbf{WH}{)}_{ij}{)}^2$$

2. Kullback-Leibler散度（当数据可以被解释为概率分布时）：

$$D_{KL}(\mathbf{V}||\mathbf{WH})=\sum _{i=1}^m\sum _{j=1}^n\left(V_{ij}\log \frac{V_{ij}}{(\mathbf{WH}{)}_{ij}}-V_{ij}+(\mathbf{WH}{)}_{ij}\right)$$

3. Itakura-Saito散度（适用于音频功率谱）：

$$D_{IS}(\mathbf{V}||\mathbf{WH})=\sum _{i=1}^m\sum _{j=1}^n\left(\frac{V_{ij}}{(\mathbf{WH}{)}_{ij}}-\log \frac{V_{ij}}{(\mathbf{WH}{)}_{ij}}-1\right)$$

4. β-散度（统一了上述三种散度）：

$$D_{\beta }(\mathbf{V}||\mathbf{WH})=\frac{1}{\beta (\beta -1)}\sum _{i=1}^m\sum _{j=1}^n\left(V_{ij}^{\beta }-(\mathbf{WH}{)}_{ij}^{\beta }-\beta V_{ij}^{\beta -1}(V_{ij}-(\mathbf{WH}{)}_{ij})\right)$$

其中 $\beta =2$ 对应Frobenius范数，$\beta \to 1$ 对应KL散度，$\beta \to 0$ 对应IS散度。

优化算法

NMF的优化算法主要有两类：乘性更新规则和交替非负最小二乘法。

乘性更新规则（以Frobenius范数为例）：

$$W_{ij}\leftarrow W_{ij}\frac{(\mathbf{V}{\mathbf{H}}^T{)}_{ij}}{(\mathbf{WH}{\mathbf{H}}^T{)}_{ij}}$$

$$H_{ij}\leftarrow H_{ij}\frac{({\mathbf{W}}^T\mathbf{V}{)}_{ij}}{({\mathbf{W}}^T\mathbf{WH}{)}_{ij}}$$

对于KL散度，更新规则为：

$$W_{ij}\leftarrow W_{ij}\frac{{\sum }_{k=1}^n{V}_{ik}{H}_{jk}/(\mathbf{WH}{)}_{ik}}{{\sum }_{k=1}^n{H}_{jk}}$$

$$H_{ij}\leftarrow H_{ij}\frac{{\sum }_{k=1}^m{W}_{ki}{V}_{kj}/(\mathbf{WH}{)}_{kj}}{{\sum }_{k=1}^m{W}_{ki}}$$

稀疏编码（Sparse Coding）

稀疏编码假设源信号可以用少量基函数的线性组合表示，即信号在某个基或字典下是稀疏的。数学表示为：

$$\mathbf{x}=\mathbf{Ds}+\mathbf{n}$$

其中 $\mathbf{D}\in {\mathbb{R}}^{m\times p}$ 是字典或基矩阵，$\mathbf{s}\in {\mathbb{R}}^p$ 是稀疏系数向量（绝大多数元素为零），$\mathbf{n}$ 是噪声。

数学优化问题

稀疏编码通常表述为以下优化问题：

1. 基于l0范数（计数稀疏度）：

$$\underset{\mathbf{s}}{\min }\Vert \mathbf{x}-\mathbf{Ds}{\Vert }_2^2\text{s.t.}\Vert \mathbf{s}{\Vert }_0\le K$$

其中 $\Vert \mathbf{s}{\Vert }_0$ 表示向量 $\mathbf{s}$ 中非零元素的个数，$K$ 是稀疏度参数。

2. 基于l1范数（凸松弛）：

$$\underset{\mathbf{s}}{\min }\Vert \mathbf{x}-\mathbf{Ds}{\Vert }_2^2+\lambda \Vert \mathbf{s}{\Vert }_1$$

其中 $\Vert \mathbf{s}{\Vert }_1={\sum }_{i=1}^p|s_i|$ 是l1范数，$\lambda$ 是正则化参数。

3. 字典学习问题：

$$\underset{\mathbf{D},\mathbf{S}}{\min }\Vert \mathbf{X}-\mathbf{DS}{\Vert }_F^2+\lambda \Vert \mathbf{S}{\Vert }_1\text{s.t.}\Vert {\mathbf{d}}_j{\Vert }_2=1,\forall j$$

其中 $\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n]\in {\mathbb{R}}^{m\times n}$ 是数据矩阵，$\mathbf{S}=[{\mathbf{s}}_1,{\mathbf{s}}_2,\dots ,{\mathbf{s}}_n]\in {\mathbb{R}}^{p\times n}$ 是稀疏系数矩阵，${\mathbf{d}}_j$ 是字典 $\mathbf{D}$ 的第 $j$ 列。

算法实现

稀疏编码的常用算法包括：

1. 匹配追踪（Matching Pursuit，MP）：

   MP是一种贪婪算法，它在每一步选择与残差最相关的字典原子：

   $$j^{\ast }=\arg \underset{j}{\max }|⟨{\mathbf{r}}^{(i)},{\mathbf{d}}_j⟩|$$

   其中 ${\mathbf{r}}^{(i)}$ 是第 $i$ 步的残差，${\mathbf{d}}_j$ 是字典的第 $j$ 列。

   然后更新系数和残差：

   $$s_{j^{\ast }}\leftarrow s_{j^{\ast }}+⟨{\mathbf{r}}^{(i)},{\mathbf{d}}_{j^{\ast }}⟩$$

   $${\mathbf{r}}^{(i+1)}\leftarrow {\mathbf{r}}^{(i)}-⟨{\mathbf{r}}^{(i)},{\mathbf{d}}_{j^{\ast }}⟩{\mathbf{d}}_{j^{\ast }}$$

2. 正交匹配追踪（Orthogonal Matching Pursuit，OMP）：

   OMP在每一步选择与残差最相关的字典原子，但与MP不同，它在每一步都重新计算所有已选择原子的系数：

   $${\mathbf{s}}_{{\Lambda }^{(i)}}=\arg \underset{{\mathbf{s}}_{{\Lambda }^{(i)}}}{\min }\Vert \mathbf{x}-{\mathbf{D}}_{{\Lambda }^{(i)}}{\mathbf{s}}_{{\Lambda }^{(i)}}{\Vert }_2^2$$

   其中 ${\Lambda }^{(i)}$ 是截至第 $i$ 步已选择的原子指标集合，${\mathbf{D}}_{{\Lambda }^{(i)}}$ 是由这些原子组成的子字典。

3. LASSO（Least Absolute Shrinkage and Selection Operator）：

   LASSO通过求解l1正则化问题来获得稀疏解：

   $$\underset{\mathbf{s}}{\min }\frac{1}{2}\Vert \mathbf{x}-\mathbf{Ds}{\Vert }_2^2+\lambda \Vert \mathbf{s}{\Vert }_1$$

   常用的算法有坐标下降法、LARS（Least Angle Regression）、近似消息传递（AMP）等。

盲源分离的挑战与局限性

数学不确定性问题

盲源分离存在固有的数学不确定性，主要包括：

1. 排列不确定性

分离出的信号顺序与原始信号可能不同，可以表示为一个置换矩阵 $\mathbf{P}$：

$$\mathbf{y}=\mathbf{Ps}$$

其中 $\mathbf{P}$ 是 $n\times n$ 的置换矩阵，仅在每行和每列有一个元素为1，其余为0。

2. 尺度不确定性

分离出的信号幅度可能与原始信号不同，可以表示为一个对角矩阵 $\mathbf{D}$：

$$\mathbf{y}=\mathbf{Ds}$$

其中 $\mathbf{D}=\text{diag}(d_1,d_2,\dots ,d_n)$ 是对角矩阵，$d_i\ne 0$。

综合考虑这两种不确定性，分离结果可以表示为：

$$\mathbf{y}=\mathbf{PDs}$$

在盲源分离问题中，我们只能确保 $\mathbf{WA}=\mathbf{PD}$ 而非单位矩阵 $\mathbf{I}$。

欠定与过定问题

从系统可解性的角度，盲源分离问题可分为三种情况：

1. 正定系统（$m=n$）

当观测信号数量等于源信号数量时，系统是正定的。理论上，如果混合矩阵 $\mathbf{A}$ 是可逆的，那么存在唯一的分离矩阵 $\mathbf{W}={\mathbf{A}}^{-1}$（忽略排列和尺度不确定性）。

2. 欠定系统（$m<n$）

当观测信号数量少于源信号数量时，系统是欠定的。在这种情况下，线性代数理论告诉我们，方程组 $\mathbf{x}=\mathbf{As}$ 有无穷多解。

为了使问题可解，需要引入额外的约束或先验信息，如信号的稀疏性。此时，可以将问题表述为：

$$\underset{\mathbf{s}}{\min }\Vert \mathbf{s}{\Vert }_0\text{s.t.}\mathbf{x}=\mathbf{As}$$

或者使用l1范数的凸松弛：

$$\underset{\mathbf{s}}{\min }\Vert \mathbf{s}{\Vert }_1\text{s.t.}\mathbf{x}=\mathbf{As}$$

3. 过定系统（$m>n$）

当观测信号数量多于源信号数量时，系统是过定的。这种情况下，可以利用额外的观测信号来提高分离的鲁棒性。

过定系统中，由于噪声的存在，方程 $\mathbf{x}=\mathbf{As}$ 通常无法精确满足。此时，可以采用最小二乘估计：

$$\hat{\mathbf{s}}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{x}$$

或者正则化最小二乘：

$$\hat{\mathbf{s}}=({\mathbf{A}}^T\mathbf{A}+\lambda \mathbf{I}{)}^{-1}{\mathbf{A}}^T\mathbf{x}$$

其中 $\lambda >0$ 是正则化参数。

非线性混合的复杂性

现实中的混合过程通常是非线性的，这给盲源分离带来了巨大挑战。处理非线性混合的方法主要有：

1. 核方法（Kernel Methods）

核方法通过非线性映射 $\Phi :{\mathbb{R}}^m\to \mathcal{F}$ 将数据映射到高维特征空间 $\mathcal{F}$，然后在特征空间中寻求线性分离。核函数 $k(\mathbf{x},\mathbf{y})=⟨\Phi (\mathbf{x}),\Phi (\mathbf{y})⟩$ 允许我们在不显式计算映射的情况下进行操作。

核PCA的目标函数为：

$$\underset{\Vert \alpha \Vert =1}{\max }{\alpha }^T\mathbf{K}\alpha$$

其中 $\mathbf{K}$ 是核矩阵，$K_{ij}=k({\mathbf{x}}_i,{\mathbf{x}}_j)$。

核ICA可以通过先进行核PCA降维，然后在新空间中应用线性ICA来实现。

2. 局部线性近似（Local Linear Approximation）

局部线性近似方法假设非线性映射在局部区域可以用线性变换近似。这类方法首先对数据进行聚类，然后在每个簇内应用线性ICA。

数学上，可以表示为在每个区域 ${\mathcal{R}}_i$ 中：

$$\mathbf{x}\approx {\mathbf{A}}_i\mathbf{s}+{\mathbf{b}}_i,\forall \mathbf{x}\in {\mathcal{R}}_i$$

其中 ${\mathbf{A}}_i$ 是局部线性变换矩阵，${\mathbf{b}}_i$ 是偏置向量。

3. 流形学习（Manifold Learning）

流形学习方法假设数据分布在低维流形上，通过保持局部几何结构来进行非线性降维。

常用的算法有等距映射（Isomap）、局部线性嵌入（LLE）、拉普拉斯特征映射（Laplacian Eigenmaps）等。

例如，LLE的优化问题为：

$$\underset{\mathbf{Y}}{\min }\sum _{i=1}^N\Vert {\mathbf{y}}_i-\sum _{j\in {\mathcal{N}}_i}{w}_{ij}{\mathbf{y}}_j{\Vert }_2^2\text{s.t.}\mathbf{Y}{\mathbf{Y}}^T=\mathbf{I}$$

其中 $\mathbf{Y}=[{\mathbf{y}}_1,{\mathbf{y}}_2,\dots ,{\mathbf{y}}_N]\in {\mathbb{R}}^{d\times N}$ 是低维表示，${\mathcal{N}}_i$ 是点 $i$ 的近邻集合，$w_{ij}$ 是重构权重。