多元高斯分布与边缘分布推导

1、对于多元高斯分布，推导边缘分布 p(xA) 和 p(xB)，其中 A 和 B 是联合高斯随机变量 x1, x2, …, xn 的子集。

要计算边缘分布，我们只需从均值和协方差矩阵中读取相应的行和列。

2、设y服从均值为μ、协方差矩阵为Σ的正态分布，其中Σ = LLT。证明可以按以下方式得到样本y：x服从均值为0、协方差矩阵为单位矩阵I的正态分布；y = Lx + μ。

设 $ y = Lx + \mu $。则，

$$ E[y] = LE[x] + \mu = 0 + \mu = \mu $$

同样，

$$ \text{cov}(y) = L \, \text{cov}(x) \, L^T + 0 = L I L^T = L L^T = \Sigma $$

由于 $ y $ 是高斯随机变量的仿射变换，$ y $ 也服从正态分布，即

$$ y \sim \mathcal{N}(\mu, \Sigma) $$

3、给定一个数据点 y ∈ Rd 和一个超平面 θ ⋅x + θ0 = 0，计算该点到超平面的欧几里得距离。

设 $ x $ 是超平面上的一个点，即确保它满足方程 $ \theta \cdot x + \theta_0 = 0 $。为了找到该点到超平面的欧几里得距离，我们构造一个向量 $ y - x $ 并将其投影到与平面垂直的唯一向量上。

4、给定一个原始线性规划（LP）问题：在约束条件 Ax <= b，x >= 0 下求 min cᵀ x，写出该线性规划的对偶形式。

原始线性规划中的每个变量对应对偶线性规划中的一个约束条件，反之亦然。
原始问题是最小化问题，所以对偶问题是最大化问题。
原始约束条件是小于等于，所以对偶变量大于等于零。

设对偶变量为 $ y $，对偶问题的目标函数是最大化 $ b^\top y $，约束条件为 $ A^\top y \geq c $，$ y \geq 0 $。

即对偶问题为在约束条件
$$
A^\top y \geq c, \quad y \geq 0
$$
下求
$$
\max \, b^\top y
$$

5、证明径向基函数（RBF）核等同于计算两个无限维特征向量之间的相似度。

径向基函数核可以使用多项式定理展开。假设 $\sigma = 1$，RBF 展开意味着有无限个维度，这表明径向基函数核相当于计算两个无限维特征向量之间的相似度。

6、验证学习率调度 ηk = (τ0 + k)–κ 满足罗宾斯 - 门罗条件。

要证明学习率满足 罗宾斯 - 门罗条件 ，需要针对非负的 $\tau_0$ 和 $\kappa \in (0.5, 1]$ 证明以下内容：

$$
\sum_{t=0}^{\infty} \frac{1}{(t + \tau_0)^\kappa} < \infty
$$

根据 幂级数收敛性 ，这是成立的。

7、计算K近邻（KNN）回归器的运行时间和内存复杂度。

时间与空间复杂度分析

运行时间复杂度

对于每个查询 $ q $，需要执行一个排序操作，其时间复杂度为 $ O(N \log N) $（其中 $ N