lyn5284767的专栏

回归问题：根据给定的训练集    寻找一个实值函数f(x)，以便用y=f(x)推断出任一模式x所对应的y值。先研究最简单的情况：    线性回归就是寻找一条直线，使训练点x离其最近。如果超平面y=(w.x)+b满足:    则该超平面就是一个硬-带超平面、求其最优值：1，平分最近点回归法得到最近点c、d分别为：          最后取得得到划分的超平面，令得到y=(w.x)+b2，最大间隔回归法...

假设，已知有两种模式正类和负类分别为：        要判定x属于哪一类，参见下图：       若令，，则等价于w和x-m呈钝角，据此得到决策函数：    y=sgn((x-m).w)...

以心脏病诊断为例，假设我们希望通过年龄和胆固醇水平两个指标来判定一个人是否患有心脏病。首先，我们输入已有的十个病例：这里，第一位病人数据为，y=-1，以此类推，把10位病人数据整理为：    接下来如果再有新的病人来，我们需要根据其年级和胆固醇水平来判定其是有有心脏病。这就是一个分类问题，可以转换到二维平面来进行：从图中可知可以选择一条合适的曲线(w.x)+b=0将两类分隔开，其中(w.x)是内积...

如何构造线性分类学习机。1，平分最近法。如下图所示：我们应该找到两类凸壳最近点，做垂直平分线即可获得。上例的最近点是c，d两点，可以通过求解一个最优化问题来解决。已经训练集，其中，构造并求解最优化问题：    得到最优解集合，计算最邻近点，构造分化超平面，，其中，2，最大间隔法。如下图所示;要求最优的分类线，即求，间隔2/||w||的最大化，也即求1/2*||w||^2最小化，其最优化问题为：  ...

一，有序齐次单项式空间2阶有序齐次单项式：             由此推广，可以得到d阶的有序齐次单项式：          由上式可知，如果n和d数据过大时，内积的运算量将会非常大。我们观察二阶有序齐次单项式，在H中做内积有：     我们定义函数：     由此我们推算到d阶的有序齐次单项式：     二，有序单项式空间类似的可以推导出，二阶有序单向式空间：           类似的推导到...

现实生活中，很多问题是无法在二维平面进行线性分类的，如下图所示：对图(a)进行分类，我们无法进行线性分类，但是可以用一个椭圆来划分：    现在，我们要做的工作，就是把这个非线性分类变换到线性分类上，：    映射后的公式为：    一个更为广泛的例子。设训练集为：，其中假定可以用平面的二次曲线：    来划分。这时，把二维空间，映射到6维空间的变换函数：通过变换函数，将二次曲线映射到六维空间的超...