python学习、数据挖掘和机器学习
文章平均质量分 55
静_默
聚沙成塔,积少成多!
展开
-
支持向量机: Support Vector
上一次介绍支持向量机,结果说到 Maximum Margin Classifier ,到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图:可以看到两个支撑着中间的 gap 的超平面,它们到中间的 separating hyper plane 的距离相等(想想看:为什么一定是相等的?),即我们所能得到的最大的 geometrical margin γ˜ (几何m转载 2015-09-08 16:48:33 · 668 阅读 · 0 评论 -
机器学习算法与Python实践之(一)k近邻(KNN)
一、kNN算法分析 K最近邻(k-Nearest Neighbor,KNN)分类算法可以说是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。 比如上面这个图,我们有两类数据,分别是蓝色方块和红色三角形,他们分布在一个上图的二维中间中。转载 2015-09-05 19:55:12 · 794 阅读 · 0 评论 -
支持向量机:Kernel
前面我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。例如图中的两类数据,分别分布为两个圆圈的形状,不论是任何高级的分类器,只要它是线性的,就没法处理,SVM 也不行。因为这样的数据本身就是线性不可分的。对于这个数据集,我可以悄悄透露一下:我生成它的时候就是用两个半径不同的圆圈加上了少量的噪音得到的转载 2015-09-11 18:30:13 · 656 阅读 · 0 评论 -
支持向量机: Maximum Margin Classifier
支持向量机即 Support Vector Machine,简称 SVM 。我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起,然后再做成一个 Machine ,一听就很玄了!不过后来我才知道,原来 SVM 它并不是一头机器,而是一种算法,或者,确切地说,是一类算法,当然,这样抠字眼的话就没完没转载 2015-09-06 16:44:30 · 751 阅读 · 0 评论 -
支持向量机:Duality
在之前关于 support vector 的推导中,我们提到了 dual ,这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式,例如一个 maxf(x) 可以转化转载 2015-09-08 15:32:14 · 534 阅读 · 0 评论 -
easy_install 安装sklearn模块
setuptools:http://pypi.python.org/pypi/setuptools#windows ez_setup.py文件:http://peak.telecommunity.com/dist/ez_setup.py在命令行中运行python ez_setup.py 即安装成功然后在命令行使用 easy_install sklearn 即可安装模块注:python27有点原创 2015-09-21 19:16:01 · 1523 阅读 · 0 评论