机器学习
文章平均质量分 83
VR_wangkr
未来人工智能的开发者
展开
-
半监督学习
最近的一段时间一直在学习半监督学习算法,目前,国内的南京大学周志华老师是这方面的泰斗,写了很多这方面牛的文章,可以参考一下他的主页:http://cs.nju.edu.cn/zhouzh/。在国内的学术界周老师一直是我比较钦佩的人之一。下面贴出来的文章出自周老师之手,通俗易懂。受益匪浅。。1. 引言 在传统的监督学习中,学习器通过对大量有标记的(labeled)训练例进行转载 2014-03-13 14:37:52 · 3123 阅读 · 0 评论 -
OpenCV中混合高斯模型的实现
////////////////////////cvCreateGaussianBGModel///////////////////////////////////////////CV_IMPL CvBGStatModel *cvCreateGaussianBGModel( IplImage*first_frame,CvGaussBGStatModelParams* parameter原创 2014-04-10 20:33:48 · 4502 阅读 · 4 评论 -
为什么不去读顶级会议上的论文?适应于机器学习、计算机视觉和人工智能的国际顶级会议
看了网上很多贴子,发现很多人都在问“热门研究方向”、“最新方法”等。有同学建议国内某教授的教材、或者CNKI、或者某些SCI期刊。每当看到这种问题,我都有点纳闷,为什么不去读顶级会议上的论文?我无意否认以上文献的价值,但是在机器学习、计算机视觉和人工智能领域,顶级会议才是王道。国内教材和CNKI上的基本是N年前老掉牙的东西。有人会质疑这些会议都只是EI。是的,这的确非常特殊:在许多其它领域,会议都...转载 2014-03-17 21:35:11 · 6571 阅读 · 5 评论 -
Logistic Regression--逻辑回归算法汇总**
转自别处 有很多与此类似的文章 也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂,后面的运行流程依据前面的得出的算子进行分类) 初步接触谓LR分类器(Logistic Regression Classifier),并没有什么神秘的。在分类的情形下,经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm.转载 2014-03-16 16:05:48 · 2591 阅读 · 0 评论 -
AdaBoost ,online Adaboost
Adaboost在学习AdaBoosting和online Boosting, 最好有bagging和boosting基础,这样看起来比较会比较顺。有空再补上。AdaBoost 算法的主要思想之一就是在训练集上维护一套权重分布,初始化时 ,Adaboost 为训练集的每个训练例指定相同的权重 1/m。接着调用弱学习算法进行迭代学习。每次迭代后更新训练集上不同样本的权值,对训练失败的转载 2014-03-13 14:48:00 · 2555 阅读 · 1 评论 -
FuzzyKmeans,mahout实现
首先介绍一下,FuzzyKMeans算法的主要思想。模糊 C 均值聚类(FCM),即众所周知的模糊 ISODATA,是用隶属度确定每个数据点属于某个聚类的程度的一种聚类算法。1973 年,Bezdek 提出了该算法,作为早期硬 C 均值聚类(HCM)方法的一种改进。FCM 把 n 个向量 xi(i=1,2,...,n)分为 c 个模糊组,并求每组的聚类中心,使得非相似性指标的价值函数达到最转载 2014-03-13 14:46:36 · 1631 阅读 · 0 评论 -
Random forests, 随机森林,online random forests
Random Forests (随机森林)随机森林的思想很简单,百度百科上介绍的随机森林算法比较好理解。在机器学习中,随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin K转载 2014-03-13 14:44:10 · 3235 阅读 · 1 评论 -
EM, Expectation maximization
EM 算法是机器学习中比较重要的算法,可以用来做聚类。其EM的思想在才是最重要(不断的优化下界来逼近上界)。当我们面临二个参数需要优化的时候,只要符合EM的不等式(凸函数),可以采用这种思想,先定一个参数,在优化另一个参数。以前在读这个算法时,就费了很大的力气,本想写出来的,但看到别人博客里写了EM算法,且写的比较通俗易懂,深入浅出,即使你以前没有看过EM算法,只要你静下心来,一定会看的懂。 下面转载 2014-03-13 14:43:08 · 1014 阅读 · 0 评论 -
SVM(一) 问题的提出
SVM是支持向量机从诞生至今才10多年,发展史虽短,但其理论研究和算法实现方面却都取得了突破性进展,有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。我看了一下网上的帖子和有关的资料,目前关于SVM大约有3到4个版本,但在网上到处都是转载的内容,最后谁叶不知原稿人是谁。svm主要分有4个问题 1.问题的提出转载 2014-03-13 14:41:43 · 1454 阅读 · 0 评论 -
拉格朗日对偶
2 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导,使得偏转载 2014-03-13 14:40:27 · 27666 阅读 · 7 评论 -
SVM(四) 支撑向量机,二次规划问题
SMO优化算法(Sequential minimal optimization)SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Tra转载 2014-03-13 14:39:04 · 2741 阅读 · 0 评论 -
Tri-training, 协同训练算法
本个帖子继半监督学习算法(http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496155.html) 最初的协同训练算法(或称为标准协同训练算法)是A. Blum和T. Mitchell [BlumM98] 在 1998年提出的。他们假设数据集有两个充分冗余(sufficient and redundant)的视图(vie转载 2014-03-13 14:36:56 · 6989 阅读 · 0 评论 -
Tri-training regression, 协同训练回归
本帖续贴(Tri-trianing :http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496162.html)以往的半监督学习研究几乎都是关注分类问题 ,虽然在监督学习中回归问题的重要性不亚于分类问题,半监督回归却一直缺乏研究。如第二节所述,在半监督回归中由于示例的标记是实值输出,因此聚类假设不再成立,但半监督学习的流形假设仍然是成转载 2014-03-13 14:35:55 · 2756 阅读 · 0 评论 -
SVM(三),支持向量机,线性不可分和核函数
3.1 线性不可以分我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面。看下面两张图:可以看到一个离群点(可能是噪声)可以造成超平面的移动,间隔缩小,可见以前转载 2014-03-13 14:33:19 · 2885 阅读 · 0 评论 -
Boosting, Online Boosting,adaboost
bagging,boosting,adboost,random forests都属于集成学习范畴. 在boosting算法产生之前,还出现过两种比较重要的算法,即boostrapping方法和bagging方法。首先介绍一下这二个算法思路:从整体样本集合中,抽样n* < N个样本 针对抽样的集合训练分类器Ci ,抽样的方法有很多,例如放回抽样,不放回抽样等.对于预测样本, 众多分类器进行投票,最终转载 2014-03-13 14:45:28 · 1065 阅读 · 0 评论 -
Wallflower paper测试数据集(原Test Images for Wallflower Paper)
原文:This page contains the test images that we used for our Wallflower paper.* We tested several different background maintenance algorithms on seven different image sequences. For each test image翻译 2015-04-28 10:20:06 · 3080 阅读 · 0 评论