实验3：利用SVM实现线性高斯分类

实验3：利用SVM实现线性高斯分类

hw3.1

1. Perceptron：

   Consider running the Perceptron algorithm on some sequence of examples S (an example is a data point and its label). Let S′ be the same set of examples as S , but presented in a different

   1. a) Does the Perceptron algorithm necessarily make the same number of mistakes on S as it does on S′

      结论：一样

      首先我们知道感知机的误差定义准则为：

      

      表示所有错误分类样本的集合。某个特定的错误的分类的样本对误差函数的贡献为样本被错误分类的区域中 的线性函数，正确分类的误差函数为零。因此，总的误差函数是分段线性的。

      现在对误差函数使用随机梯度下降算法。得到权重 的变化为：

      

      [公式]

      下面基于以上原理进行证明，错误数是相同的

      取超平面为 ,使

      (此处做了两件事，一是将 加入了 的矩阵，即回归，二是将组合后的矩阵归一化)

      因为对于有限的 .均有

      

      所以存在 ,使得

      （1）

      感知器算法中，从 开始，若输入实例被误分，则更新权重，令 是第 个误分实例之前的扩充权重向量，即

      则第k个误分实例的条件是

      (2)

      而我们知道，若 被 误分，则 和 的更新是

      

      

      即 (3)

      下面证明俩不等式：

      （4） **

      由（1）和（3）可得

      

      由此递推可得 （4）

      

      （5） **

      由（2）和（3）得

      

   2. b) If so, why? If not, show such an S and S′ where the Perceptron algorithm makes a different number of mistakes on S′ than it does on S

      上题已证

2. 自己的一些问题：

   1. 在用感知机的时候，对偶形式为啥比原始形式高效?

hw3.2

1. A proposed kernel Consider the following kernel function:

   

   image-20201012220743793

   1. a) Prove this is a legal ker