- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 机器学习理论与实战（十）K均值聚类和二分K均值聚类
接下来就要说下无监督机器学习方法，所谓无监督前面也说过，就是没有标签的情况，对样本数据进行聚类分析、关联性分析等。主要包括K均值聚类（K-means clustering）和关联分析，这两大类都可以说的很简单也可以说的很复杂，学术的东西本身就一直在更新着。比如K均值聚类可以扩展一下形成层次聚类（Hierarchical Clustering）；也可以进入概率分布的空间进行聚类，前段时间很火的LDA
2013-07-31 22:51:55
8682
1
原创 机器学习理论与实战（九）回归树和模型树
前一节的回归是一种全局回归模型，它设定了一个模型，不管是线性还是非线性的模型，然后拟合数据得到参数，现实中会有些数据很复杂，肉眼几乎看不出符合那种模型，因此构建全局的模型就有点不合适。这节介绍的树回归就是为了解决这类问题，它通过构建决策节点把数据数据切分成区域，然后局部区域进行回归拟合。先来看看分类回归树吧（CART:Classification And Regression Trees）,这个模
2013-07-27 00:29:21
15504
13
原创 机器学习理论与实战（八）回归
按照《机器学习实战》的主线，结束有监督学习中关于分类的机器学习方法，进入回归部分。所谓回归就是数据进行曲线拟合，回归一般用来做预测，涵盖线性回归（经典最小二乘法）、局部加权线性回归、岭回归和逐步线性回归。先来看下线性回归，即经典最小二乘法，说到最小二乘法就不得说下线性代数，因为一般说线性回归只通过计算一个公式就可以得到答案，如（公式一）所示：（公式一） 其中X是表示
2013-07-20 00:47:32
12276
6
原创 机器学习理论与实战（七）Adaboost
Adaboost也是一种原理简单，但很实用的有监督机器学习算法，它是daptive boosting的简称。说到boosting算法，就不得提一提bagging算法，他们两个都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）,类似于投资，“不把鸡蛋放在一个篮子”，虽然每个弱分类器分类的不那么准确，但是如果把多个弱分类器组合起来可以得到相当不错的结果，另外要
2013-07-13 16:50:53
28160
6
原创 机器学习理论与实战（六）支持向量机
上节基本完成了SVM的理论推倒，寻找最大化间隔的目标最终转换成求解拉格朗日对偶变量alpha的求解问题，求出了alpha即可求解出SVM的权重W，有了权重也就有了最大间隔距离，但是其实上节我们有个假设：就是训练集是线性可分的，这样求出的alpha在[0,infinite]。但是如果数据不是线性可分的呢？此时我们就要允许部分的样本可以越过分类器，这样优化的目标函数就可以不变，只要引入松弛变量即可，它
2013-07-11 23:47:18
5762
4
原创 机器学习理论与实战（五）支持向量机
做机器学习的一定对支持向量机（support vector machine-SVM）颇为熟悉，因为在深度学习出现之前，SVM一直霸占着机器学习老大哥的位子。他的理论很优美，各种变种改进版本也很多，比如latent-SVM, structural-SVM等。先来看看SVM的理论，在（图一）中A图表示有两类的数据集，图B,C,D都提供了一个线性分类器来对数据进行分类？但是哪个效果好一些？
2013-07-09 23:05:20
5850
5
原创 机器学习理论与实战（四）逻辑回归
从这节算是开始进入“正规”的机器学习了吧，之所以“正规”因为它开始要建立代价函数（cost function），接着优化价值函数求出权重，然后测试验证。这整套的流程是机器学习必经环节。今天要学习的话题是逻辑回归，逻辑回归也是一种有监督学习方法（supervised machine learning）。逻辑回归一般用来做预测，也可以用来做分类，预测是某个类别^.^！线性回归相比大家都不陌生了，y=k
2013-07-07 15:36:34
7514
2
原创 机器学习理论与实战（三）朴素贝叶斯
贝叶斯决策一直很有争议，今年是贝叶斯250周年，历经沉浮，今天它的应用又开始逐渐活跃，有兴趣的可以看看斯坦福Brad Efron大师对其的反思，两篇文章：“Bayes'Theorem in the 21st Century”和“A250-YEAR ARGUMENT:BELIEF, BEHAVIOR, AND THE BOOTSTRAP”。俺就不参合这事了，下面来看看朴素贝叶斯分类器。有时我
2013-07-07 11:35:16
16015
12
原创 机器学习理论与实战（二）决策树
电影《无耻混蛋》里有一幕游戏，在德军小酒馆里有几个人在玩20问题游戏，游戏规则是一个设迷者在纸牌中抽出一个目标（可以是人，也可以是物），而猜谜者可以提问题，设迷者只能回答是或者不是，在几个问题（最多二十个问题）之后，猜谜者通过逐步缩小范围就准确的找到了答案。这就类似于决策树的工作原理。（图一）是一个判断邮件类别的工作方式，可以看出判别方法很简单，基本都是阈值判断，关键是如何构建决策树，也就是如何训
2013-07-05 23:18:40
6040
11
原创 机器学习理论与实战（一）K近邻法
机器学习分两大类，有监督学习(supervised learning)和无监督学习(unsupervised learning)。有监督学习又可分两类：分类（classification.）和回归（regression），分类的任务就是把一个样本划为某个已知类别，每个样本的类别信息在训练时需要给定，比如人脸识别、行为识别、目标检测等都属于分类。回归的任务则是预测一个数值，比如给定房屋市场的数据（面
2013-07-05 21:27:57
8326
8
原创 机器学习理论与实战
前面的进20篇博文已经牵扯到很多机器学习算法咯，已经吊足了胃口，从后面开始正式学习机器学习的理论，涵盖：加州理工(caltech)的 Yaser Abu-Mostafa教授的机器学习，偏重于传统统计理论斯坦福大学（Staford U)的Andrew Ng教授的机器学习，偏重于实用，直观理解多伦多大学（Tronto U）的Geoffery Hinton教授的高级神经网络，偏重于神经网络和
2013-07-05 13:22:08
3929
原创 目标检测（Object Detection）原理与实现(六)
基于形变部件模型（Deformable Part Models）的目标检测 上节说了基于cascade的目标检测，cascade的级联思想可以快速抛弃没有目标的平滑窗（sliding window）,因而大大提高了检测效率，但也不是没缺点，缺点就是它仅仅是个很弱的特征，用它做分类的检测器也是弱分类器，仅仅比随机猜的要好一些，它的精度靠的是多个弱分类器来实行一票否决式推举
2013-07-04 16:14:48
19585
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人