【习题集二】核、支持向量机和学习理论

1. 核山峰回归 Kernel Ridge Regression

在我们以往的计算中，我们定义损失函数为，现在我们为了使参数尽量少，将损耗方程修改为（这一方程在第十一讲《贝叶斯统计正则化》中也介绍过），显然，我们要求λ大于0，这一方程成为山峰回归损耗方程 Ridge Regression Cost Function，试求：

（1）当使用上述形式的方程时，我们的θ的解

解：与解原方程的方式一样，我们将计算损耗方程J对θ的导数，使导数为0的θ即使方程取得最小值的解，计算过程如下

我们将方程写成矩阵的形式

将其对θ求导为

令导数为0，我们有

上式便是时损耗函数最小的θ的表达式，十分类似于我们之前介绍的Normal Equation

（2）假设我们需要将核模型应用到这一方程中，即将表达式改变为，其中方程Φ为映射函数。仿照我们之前推到核矩阵的方式，给出当给入一个新的输入x_new时，不需精确计算φ(x_new)而可求得θ^Tφ(x_new)的方法。【小提示：注意有定理，同样，我们也希望读者可以自己证明这一定义】

解：令Φ表示经过映射函数φ()映射过的输入，则由上一题的结论，我们可推出

由于，K即我们之前介绍的训练集的核矩阵。因此当给定输入x_new计算y_new时，我们可通过如下公式计算

p.s. 我们可通过下式计算给定的定理

2. L2正则 L2 Norm Soft M