PRML读书会第六章 Kernel Methods（核函数，线性回归的Dual Representations，高斯过程 ，Gaussian Processes）

主讲人 网络上的尼采

（新浪微博:@Nietzsche_复杂网络机器学习）

网络上的尼采(813394698) 9:16:05 

今天的主要内容：Kernel的基本知识，高斯过程。边思考边打字，有点慢，各位稍安勿躁。 
机器学习里面对待训练数据有的是训练完得到参数后就可以抛弃了，比如神经网络；有的是还需要原来的训练数据比如KNN，SVM也需要保留一部分数据--支持向量。
很多线性参数模型都可以通过dual representation的形式表达为核函数的形式。所谓线性参数模型是通过非线性的基函数的线性组合来表达非线性的东西，模型还是线性的。比如线性回归模型是y=，是一组非线性基函数，我们可以通过线性的模型来表达非线性的结构。

核函数的形式：，也就是映射后高维特征空间的内积可以通过原来低维的特征得到。因此kernel methods用途广泛。

核函数有很多种，有平移不变的stationary kernels  还有仅依赖欧氏距离的径向基核：

非线性转化为线性的形式的好处不言而喻，各种变换推导、闭式解就出来了。 下面推导下线性回归模型的dual representation，有助于我们理解核函数的作用：

根据最小二乘，我们得到下面的目标函数，加了L2正则。我们对w求导，令J(w)的梯度等于0，得到以下解：

是个由基函数构成的样本矩阵，向量里面的元素由组成：

我们把代入最初的J(w)得到：
咱们用核矩阵K来替换，其中矩阵K里面的元素是
于是得到
然后