ROC

ROC曲线(Receiver Operating Characteeristic Curve)是显示Classification模型真正率和假正率之间折中的一种图形化方法。 解读ROC图的一些概念定义:: 真正(True Positive , TP)被模型预测为正的正样本 假...

2013-05-16 16:48:44

阅读数 609

评论数 0

机器学习会议

ICML: international conference of machine learning ICIP: international conference on image processing         ICCV: international conference on...

2013-05-16 16:47:20

阅读数 1005

评论数 0

Weka3.5中使用LibSVM

Dr. Y.Bao推荐数据试验中最好用上SVM的分类方法,让我们在Weka中使用LibSVM,我在网上差了半天,看到许多相同的被转来转去的帖子都讲得人晕头转向,尤其是像我这种Java基础不牢固的人更是不知所以,弄了半天走了不少弯路,不过最后总算是让我把LibSVM集成进Weka了,下面就以我自己的...

2013-01-15 23:32:35

阅读数 8911

评论数 0

ICA扩展描述

7. ICA算法扩展描述      上面介绍的内容基本上是讲义上的,与我看的另一篇《Independent Component Analysis: Algorithms and Applications》(Aapo Hyvärinen and Erkki Oja)有点出入。下面总结一下这篇文章...

2013-01-08 23:16:01

阅读数 647

评论数 0

独立成分分析(Independent Component Analysis)

1. 问题:      1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢?      2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房...

2013-01-08 23:15:12

阅读数 494

评论数 0

主成分分析(Principal components analysis)-最小平方误差解释

3.2 最小平方误差理论            假设有这样的二维样本点(红色点),回顾我们前面探讨的是求一条直线,使得样本点投影到直线上的点的方差最大。本质是求直线,那么度量直线求的好不好,不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等,目的也是求一个线性函数使得直线能够最佳拟合...

2013-01-08 23:14:20

阅读数 798

评论数 0

主成分分析(Principal components analysis)-最大方差解释

在这一篇之前的内容是《Factor Analysis》,由于非常理论,打算学完整个课程后再写。在写这篇之前,我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analys...

2013-01-08 23:13:14

阅读数 768

评论数 1

在线学习(Online Learning)

原题目叫做The perception and large margin classifiers,其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习(batch learning),就是给了一堆样例后,在样例上学习出假设函数h。而在线学习就是要根据新来的样例,边学习,边给出结果。  ...

2013-01-08 23:12:12

阅读数 888

评论数 0

K-means聚类算法

K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。      聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都...

2013-01-08 23:10:49

阅读数 586

评论数 0

规则化和模型选择Regularization and model selection

1 问题      模型选择问题:对于一个学习问题,可以有多种模型选择。比如要拟合一组样本点,可以使用线性回归,也可以用多项式回归。那么使用哪种模型好呢(能够在偏差和方差之间达到平衡最优)?      还有一类参数选择问题:如果我们想使用带权值的回归模型,那么怎么选择权重w公式里的参数? 形...

2013-01-08 23:10:04

阅读数 468

评论数 0

SVM(6)

11 SMO优化算法(Sequential minimal optimization) SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Se...

2013-01-08 23:08:26

阅读数 565

评论数 0

SVM(5)

9 规则化和不可分情况处理(Regularization and the non-separable case) 我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么...

2013-01-08 23:07:27

阅读数 335

评论数 0

SVM(4)

7 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线,那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维,然后寻找特征和结果之间的模型。我们将这...

2013-01-08 23:06:19

阅读数 476

评论数 0

SVM(2)

6 拉格朗日对偶(Lagrange duality)      先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题:              目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为 ...

2013-01-08 23:05:30

阅读数 458

评论数 0

SVM(1)

1 简介 支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候,老师要求交《统计学习理论》的报告,那时去网上下了一份入门教程,里面讲的很通俗,当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料,让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风...

2013-01-08 23:04:32

阅读数 480

评论数 0

判别模型、生成模型与朴素贝叶斯方法

1判别模型与生成模型 上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下,求解条件概率。通俗的解释为在给定特征后预测结果出现的概率。 比如说要确定一只羊是山羊还是绵羊,用判别模型的方法是先从历史数据中学习到模型,然后通过提取这只羊的特征来预测出...

2013-01-08 23:01:40

阅读数 895

评论数 0

线性回归,logistic回归和一般回归

作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正。 1 摘要       本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型,然后将该数学模型用于...

2013-01-08 22:59:51

阅读数 652

评论数 0

混合高斯模型mixture Gaussians和EM算法

这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。       与k-means一样,给定的训练样本是,我们将隐含类别标签用表示。与k-means的硬指定不同,我们首先认为是满足一定的概率分布的,这里我们认为...

2013-01-08 22:56:52

阅读数 1403

评论数 0

迁移学习 transfer learning

迁移学习( Transfer Learning )  在传统的机器学习的框架下,学习的任务就是在给定充分训练数据的基础上来学习一个分类模型;然后利用这个学习到的模型来对测试文档进行分类与预测。然而,我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题:一些新出现的领域中的大量训练...

2013-01-08 22:50:59

阅读数 709

评论数 0

分类器:Cart,bagging,random forest boosting

本文从统计学角度讲解了CART(Classification And Regression Tree), Bagging(bootstrap aggregation), Random Forest Boosting四种分类器的特点与分类方法。 CART(Classif...

2013-01-08 22:45:50

阅读数 922

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭