![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 68
Yihui_He
Deep Learning, Computer Vision, AI, Computer Network
展开
-
支持向量机SVM(一)
1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候,老师要求交《统计学习理论》的报告,那时去网上下了一份入门教程,里面讲的很通俗,当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料,让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发,然后引出SVM什么的,还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的logi转载 2015-03-27 16:30:25 · 510 阅读 · 0 评论 -
数学模型 机器学习 系统聚类(system clustering) Python实现
初始有m个数据, 那么系统聚类一开始就有m个类, 再根据类之间的距离函数, 将最近的类聚集在一起, 直到用户设定的Ka=[[1,0], [1,1], [3,2], [4,3], [2,5]]cluster=[]for i in range(shape(a)[0]): cluster.append([i])a=array(a)centers=a.copy(原创 2015-05-23 17:19:05 · 1544 阅读 · 0 评论 -
支持向量机(四)
9 规则化和不可分情况处理(Regularization and the non-separable case)我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面。看下面两张转载 2015-05-14 17:15:59 · 515 阅读 · 0 评论 -
机器学习之入门Numpy
今天就讲这些原创 2015-05-06 17:03:26 · 1168 阅读 · 0 评论 -
[机器学习]kNN算法python实现(实例:数字识别)
# 使用好任何机器学习算法的前提是选好Featuresfrom numpy import *import operatorfrom os import listdirdef classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dat原创 2015-05-09 17:54:05 · 1675 阅读 · 1 评论 -
支持向量机(四)
9 规则化和不可分情况处理(Regularization and the non-separable case)我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面。看下面两张转载 2015-04-02 20:10:22 · 575 阅读 · 0 评论 -
[数学模型]支持向量机 从应用的角度理解 (一)
最近学习了支持向量机, 小生才疏学浅, 真的看不懂诶, 只好以应用的方式去理解了. 木有关系, 只要我们会用就好, 理解放到以后把!多说一句, 如果你真的想学会它的化, 学会二次规划, KKT就容易多了.先说一下支持向量机能干什么, 可以分类. 比如一下, 你有一些嫌疑犯样本, 它们有n个体貌特征, 这些嫌疑犯分为 犯过罪与没犯过罪 两类, 假设特征与是原创 2015-04-02 14:44:38 · 2124 阅读 · 0 评论 -
支持向量机(三)核函数
7 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线,那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维,然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射(feature mapping)。映射函数称作,在这个例子中转载 2015-03-28 22:50:20 · 819 阅读 · 0 评论 -
支持向量机SVM(二)
http://www.cnblogs.com/jerrylead6 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为转载 2015-03-28 20:11:02 · 532 阅读 · 0 评论 -
机器学习 鲁棒的基于高斯概率密度的异常点检测(novelty detection) ellipticalenvelope算法
异常点检测分为novelty detection 与 outlier detection鲁棒性的高斯概率密度是novelty detection, 就是在给出的数据中, 找出一些与大部分数据偏离较远的异常数据, 我们的训练集不是纯净的, 包含异常点 outlier detection 的训练集是纯净的算法理解这个算法的思想很好理解, 就是求出训练集在空间中的重心, 和方差, 然后根据高斯概率密度估原创 2015-06-07 14:32:34 · 3937 阅读 · 0 评论