2013年03月__北方的雪_

转载 SVM学习一

1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的lo

2013-03-31 11:51:14 831

转载 SVM学习二

6 拉格朗日对偶（Lagrange duality）先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。然后分别对w和求偏导，使得偏

2013-03-31 11:50:14 1045

转载 SVM学习三

7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中

2013-03-31 11:47:58 923

转载 SVM学习四

9 规则化和不可分情况处理（Regularization and the non-separable case）我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张

2013-03-31 11:46:46 771

转载 SVM学习（五）

11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for

2013-03-31 11:42:51 821

拉格朗日乘数法（KKT扩展应用）：wiki搜索；13/03/30机器学习十大经典算法：C4.5(ID3),k-means algorithm,SVM,PageRank,KNN algorithm,贝叶斯分类器,CART分类回归树,Adaboost算法,Apriori算法；13/04/01Adaboost 算法；SIFT(scale invarient feature transform)算法（图片

2013-03-31 10:31:51 631

转载 C++中类对象所占空间的大小

首先，平时所声明的类只是一种类型定义，它本身是没有大小可言的。因此，如果用sizeof运算符对一个类型名操作，那得到的是具有该类型实体的大小。计算一个类对象的大小时的规律：空类、单一继承的空类、多重继承的空类所占空间大小为：1（字节，下同）；一个类中，虚函数本身、成员函数（包括静态与非静态）和静态数据成员都是不占用类对象的存储空间的；因此一个对象的大小≥所有非静态成员大小的总

2013-03-18 20:46:08 953

转载 c++类对象内存结构

C++类对象内存结构首先介绍一下C++中有继承关系的类对象内存的布局：在C++中，如果类中有虚函数，那么它就会有一个虚函数表的指针__vfptr，在类对象最开始的内存数据中。之后是类中的成员变量的内存数据。对于子类，最开始的内存数据记录着父类对象的拷贝（包括父类虚函数表指针和成员变量）。之后是子类自己的成员变量数据。对于子类的子类，也是同样的原理。但是无论继承了多少

2013-03-18 20:42:02 725

原创堆和栈的区别

最近在看《thinking in c++》，在读到第13章《动态对象创建》的时候我对堆与栈的区别总是模棱两可，可想当初读《深入理解计算机系统》的时候，记得在编译、链接原理那一章有相关的介绍，而且读的时候似乎对堆与栈的区别似有理解，可现在竟忘的说不出个一二三来，好记性不如烂笔头啊！从网上搜得一篇以此为主题的文章，并结合自己的理解体会做了修改并保存下来，以备后用，。一、预备知识

2013-03-16 21:38:25 873

原创 static用法小结

最近在看《设计模式》，在学习到单例模式时，对static的用法有些模糊，故总结如下：(1)局部静态变量(2)外部静态变量/函数(3)静态数据成员/成员函数下面就这三种使用方式及注意事项分别说明一、局部静态变量在C/C++中, 局部变量按照存储形式可分为三种auto, static, register 与auto类型(普通)局部变量相比, static局

2013-03-16 15:04:04 603

转载虚函数与纯虚函数

虚函数与纯虚函数虚函数和纯虚函数有以下所示方面的区别。（1）类里如果声明了虚函数，这个函数是实现的，哪怕是空实现，它的作用就是为了能让这个函数在它的子类里面可以被覆盖，这样的话，这样编译器就可以使用后期绑定来达到多态了。纯虚函数只是一个接口，是个函数的声明而已，它要留到子类里去实现。（2）虚函数在子类里面也可以不重载的；但纯虚函数必须在子类去实现，这就像Java的接口一样。通常把很多函

2013-03-13 15:28:33 888

转载 c++中抽象类与接口的区别

其实对抽象类与接口的区别一直是搞不太清楚，最近正在学习《设计模式》，期间用到了很多c++多态的知识。这是才恍然发现，是应该整理下这方面的知识了。但在翻阅书本、上网查阅资料之际，发现有篇文章总结的不错。于是，转载（博主勿怪）并稍作修改如下：抽象类：抽象类是特殊的类，只是不能被实例化（将定义了一个或多个纯虚函数的类称为抽象类）；除此以外，具有类的其他特性；重要的是抽象类可以包括抽象方法，这是普通类

2013-03-13 15:21:03 2332

转载深入浅出UML类图

深入浅出UML类图在UML 2.0的13种图形中，类图是使用频率最高的UML图之一。Martin Fowler在其著作《UML Distilled: A Brief Guide to the Standard Object Modeling Language, Third Edition》（《UML精粹：标准对象建模语言简明指南（第3

2013-03-11 11:20:34 852

北方的雪之博客专栏