6.3.1 Nadaraya-Watson模型（PRML读书笔记）

  在3.3.3节，我们看到，对于新的输⼊$x$，线性回归模型的预测的形式为训练数据集的⽬标值的线性组合，组合系数由“等价核”（3.62）给出，其中等价核满⾜加和限制（3.64）。
  我们可以从核密度估计开始，以⼀个不同的角度研究核回归模型（3.61）。假设我们有⼀个训练集 { x n , t n } \{\textbf{x}_n, t_n\} {xn​,tn​}，我们使⽤Parzen密度估计来对联合分布$p(x,t)$进⾏建模，即

其中$f(\text{x},t)$是分量密度函数，每个数据点都有⼀个以数据点为中⼼的这种分量。我们现在要找到回归函数$y(\text{x})$的表达式

简单起见，我们现在假设分量的密度函数的均值为零（对所有$\text{x}$都成立），即

使⽤⼀个简单的变量替换，我们有（公式6.45的推导见附录“公式推导”）

其中$n,m=1,...,N$，且核函数$k(\text{x},{\text{x}}_n)$为

其中

公式（6.45）给出的结果被称为Nadaraya-Watson模型，或者称为核回归。对于⼀个局部核函数，它的性质为：给距离$\text{x}$较近的数据点${\text{x}}_n$较⾼的权重(如何看出这一点的）。注意，核（6.46）满⾜加和限制

附录

公式推导

• 公式6.43如何推导到公式6.45
  先看公式6.43的分母，由公式6.47，很容易得
  $$\sum _m\int f(\text{x}-{\text{x}}_n,t-t_n)dt=\sum _{m}g(\text{x}-{\text{x}}_n)$$再看分子
  $$\sum _n\int tf(\text{x}-{\text{x}}_n,t-t_n)dt$$做变量替换$l=t-t_n$，得$t=l+t_n$，$dt=dl$，于是
  $$\begin{gathered} \sum _n\int tf(\text{x}-{\text{x}}_n,t-t_n)dt=\sum _n\int (l+t_n)f(\text{x}-{\text{x}}_n,l)dl \\ =\sum _n\int lf(\text{x}-{\text{x}}_n,l)dl+\sum _n\int t_{n}f(\text{x}-{\text{x}}_n,l)dl \\ =\sum _{n}g(\text{x}-{\text{x}}_n)t_n \end{gathered}$$

延展讨论

• 核函数的加和限制（文末）必须满足么，还是仅仅在核回归中必须满足?
  应该不是必须满足（例如公式6.9），但是核回归应该是要满足的。
• 如何选择核函数，如何求解核函数