机器学习/模式识别
文章平均质量分 59
xiaoshengforever
山东大学计算机硕士在读,现在在百度实习,专注机器学习计算机视觉、模式识别、数据挖掘、搜索技术等开发与研究
展开
-
Bootstrap简介
Bootstrap意指靴带,来自短语:“pull oneself up by one’s bootstrap”,18世纪RE Raspe的小说《巴龙历险记》(Adventures of Baron Munchausen):巴龙掉到湖里,沉到湖底,在他绝望的时候,他用自己靴子上的带子把自己拉了上来。现意指不借助别人的力量,凭自己的努力,终于获得成功。Bootstrap Method是Efron于转载 2013-09-29 15:56:08 · 3293 阅读 · 0 评论 -
Co-training&主动学习
Co-training是目前很流行的一种半指导机器学习的方法,它的基本思想是:构造两个不同的分类器,利用小规模的标注语料,对大规模的未标注语料进行标注的方法.Co-training方法最大的优点是不用人工干涉,能够从未标注的语料中自动学习到知识。Co-training方法,是有指导和无指导机器学习两者的一个折中办法,它的原则是:在不牺牲性能的前提下,尽量多的使用未带标数据,它从一个小规模的带标的语原创 2014-04-12 08:49:12 · 2941 阅读 · 0 评论 -
生成模型与判别模型
转载:http://blog.csdn.net/zouxy09/article/details/8195017生成模型与判别模型zouxy09@qq.comhttp://blog.csdn.net/zouxy09 一直在看论文的过程中遇到这个问题,折腾了不少时间,然后是下面的一点理解,不知道正确否。若有错误,还望各位前辈不吝指正,以免小弟一错再错。在此谢原创 2014-03-04 11:15:11 · 1160 阅读 · 0 评论 -
Graphical Model(概率图模型)的浅见
转载:http://chentingpc.me/article/article.php?id=1503最近在做一些概率图模型的东西,所以有一点点浅见,就随便写写,白话、不带数学公式,不深。概率图分为有向图(bayesian network)与无向图(markov random filed)。直觉上说,有向图突出causality(因果关系,其实只是correlation),无向图突原创 2014-03-04 11:00:19 · 4558 阅读 · 2 评论 -
(转载)Logistic regression (逻辑回归)
转载 点击打开链接Logistic regression (逻辑回归)是当前业界比较常用的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。(注意这里是:“可能性”,而非数学上的“概率”,logisitc回归的结果并非数学定义中的概率值,不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和,而非直接相乘原创 2013-12-20 10:31:29 · 1168 阅读 · 0 评论 -
RBF神经网络的matlab简单实现
RBF神经网络的介绍:点击打开链接实验数据集 点击打开链接代码clear allclc %清除命令窗口load Data-Ass2;d=data'; %求转置dat=d(1:2500,1:2);labels=d(1:2500,3);inputNums=2; %输入层节点outputNums=1; %输出层节点 许多情况下直接用1表示h原创 2013-12-28 15:55:17 · 44351 阅读 · 27 评论 -
二分类SVM方法Matlab实现
使用Matlab实现了二分类的SVM,优化技术使用的是Matlab自带优化函数quadprog。只为检查所学,更为熟悉;不为炫耀。也没有太多时间去使用更多的优化方法。function model = svm0311(data,options)%SVM0311 解决2分类的SVM方法,优化使用matlab优化工具箱quadprog函数实现%by LiFeiteng emai原创 2013-11-22 18:25:32 · 7701 阅读 · 0 评论 -
健壮性 Robustness
鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。原创 2013-11-04 10:19:26 · 2564 阅读 · 0 评论 -
DCV(Discriminative Common Vectors)based on LDA(fisher线性判别)
where SB denotes the between-class and SW the within-class scatter matrix of the training data.SB为类间散布矩阵,Sw为类内散布矩阵因为Sw可能为奇异矩阵,所以当他为奇异矩阵的时候用下面的计算公式 这就叫DCV(Discriminative Common Vectors)原创 2013-10-28 17:33:33 · 936 阅读 · 0 评论 -
协方差最大似然估计为什么比实际协方差小一点 E(ΣML)=(N-1)/N * Σ
我们都知道,给定N个一维实数空间上的样本点{ xi,i=1,2,3... },假定样本点服从单峰高斯分布,那么,最大似然估计的参数表达式为:期望: 方差:可是,你是否注意过,在我们从小接受到的方差定义公式,却与最大似然估计的不一样,一个分母为n-1,一个为n。这是不是意味着最大似然估计的不准确?如何衡量这种不准确?换个角度,更进一步,方差的定义公式为什么要除以n-1?本文将从最原创 2013-10-31 14:59:47 · 8543 阅读 · 0 评论 -
机器学习部分推荐论文列表(不断更新中ing...)
Hidden Markov ModelsRabiner, L. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. (Proceedings of the IEEE 1989)Freitag and McCallum, 2000, Information Extraction原创 2013-10-28 10:38:13 · 2142 阅读 · 0 评论 -
主题模型-LDA浅析
上个月参加了在北京举办SIGKDD国际会议,在个性化推荐、社交网络、广告预测等各个领域的workshop上都提到LDA模型,感觉这个模型的应用挺广泛的,会后抽时间了解了一下LDA,做一下总结:(一)LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF-IDF等,这种方法没有考虑到文字背后的语义关联,可能在两个文档共同出现的单词很少甚至没有原创 2013-10-26 16:48:44 · 1115 阅读 · 0 评论 -
线性判别分析(Linear Discriminant Analysis, LDA)算法分析
LDA算法入门 一. LDA算法概述:线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法,它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和原创 2013-10-26 16:47:25 · 2465 阅读 · 3 评论 -
转:数据分析:Weka,Matlab,R,SPSS,SAS等分析软件比较
1 功能角度weka是机器学习方面的工具(开源)。spss是数学工具(商业工具)。具体的说,weka的主要功能是模式分类,或者模式识别或者回归。包括特征的降维(PCA),特征选择,训练模型以及对测试样本进行分类测试,几乎包含了机器学习中的所有常用分类器。当然还有聚类以及结果的图形可视化功能。spss,侧重统计分析。包括基础的数学运算,联合分析,时间序列分析,多元尺度方法等,原创 2013-10-17 10:31:52 · 7763 阅读 · 0 评论 -
朴素贝叶斯(NB,Naive Bayes)简介
朴素贝叶斯是贝叶斯证据独立的表达形式,属于一种特例。实际应用过程中贝叶斯表达式非常复杂,但是我们希望把它拆分成多个朴素贝叶斯来表达,这样能够快速获得后验概率。 贝叶斯 Thomas Bayes,英国数学家。他首先将归纳推理法用于概率论基础理论,并创立了贝叶斯统计理论,对于统计决策函数、统计推断、统计的估算等做出了贡献。 贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分原创 2013-10-10 19:26:02 · 3286 阅读 · 0 评论 -
机器学习资源积累
Andrew Moore,邓侃在CMU的老板,机器学习和数据挖掘专家,写了很多关于数据挖掘和机器学习的PPT和PDF文档,浅显易懂,推荐阅读http://www.autonlab.org/tutorials/ Good Freely Available Textbooks on Machinehttp://metaoptimize.com/qa/question原创 2013-10-08 11:04:48 · 1846 阅读 · 1 评论 -
机器学习方面顶级会议
看了版上很多贴子,发现很多版友都在问“热门研究方向”、“最新方法”等。有同学建议国内某教授的教材、或者CNKI、或者某些SCI期刊。每当看到这种问题,我都有点纳闷,为什么不去读顶级会议上的论文?我无意否认以上文献的价值,但是在机器学习、计算机视觉和人工智能领域,顶级会议才是王道。国内教材和CNKI上的基本是N年前老掉牙的东西。有人会质疑这些会议都只是EI。是的,这的确非常特殊:在许多其它领转载 2013-10-04 16:16:24 · 9773 阅读 · 0 评论 -
CCA的matlab小实验
最近在看CCA,为了证明CCA的性能,自己写了一个matlab代码原创 2014-06-12 18:22:38 · 7281 阅读 · 5 评论