【机器学习】
keith0812
对机器学习,数据挖掘,算法研究有浓厚兴趣。
展开
-
经验风险最小化 与 结构风险最小化
什么是统计学习?看起来高深莫测,其实就是在这干这么一件事情:就是给你看一堆东西,你想办法给一个解释,然后拿着这个解释去判断其它的东西。不过,和物理学不一样,在那里,解释是人想出来的,在统计学习里,解释是机器构造出来的。 在许多问题里面,对象是非常复杂的,要用成百上千,甚至更多的数字去表示一个东西。当统计学家们遇到了这些问题,他们终于从对在一维和二维空间建立起来的基于概率密度的完美的数学体转载 2013-05-02 00:44:34 · 821 阅读 · 0 评论 -
svm、经验风险最小化、vc维
“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 = 分类器在给定样本上的误差置信风险 = 分类器在未知文本上分类的结果的误差置信风险因素:样本数量,给定的样本数量越大,学习结果越有可能正确,此时置信风险越小; 分类函数的VC维,显然VC维越大,推广能力越差,置信风险会变大。原创 2013-05-08 16:38:46 · 4003 阅读 · 0 评论 -
矩阵分解 Cholesky分解(Cholesky decomposition)
Cholesky分解(Cholesky decomposition):把一个矩阵分解为一个矩阵乘以该矩阵矩阵的转置公式biaod原创 2014-05-08 19:58:30 · 2465 阅读 · 0 评论 -
朴素贝叶斯算法学习 (一)
第一、对先验概率、后验概率理解原创 2014-04-21 16:11:55 · 774 阅读 · 0 评论 -
张量的模展开矩阵(Tensor Unfoldings)
张量的模展开矩阵,主要的任务是对张量进行降,转化为矩阵。在张量的矩阵展开过程中,是对组成张量的所有阶按交错次序采样,并非简单地先采取某一阶的特征值在采取另一阶的特征值,而在整个采取过程中对不同阶的特征值进行混合交错采样,这样在采集过程中实现了张量不同阶特征值之间的传递和融合。例如如下:A是一个(4x3x2)三阶张量。下面是对三阶张量A的第一阶模展开矩阵:对三阶张量A原创 2014-03-02 21:49:43 · 12581 阅读 · 1 评论 -
Latent semantic analysis note(LSA)
1 LSA IntroductionLSA(latent semantic analysis)潜在语义分析,也被称为LSI(latent semantic index),是Scott Deerwester, Susan T. Dumais等人在1990年提出来的一种新的索引和检索方法。该方法和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文转载 2014-02-27 23:56:06 · 905 阅读 · 0 评论 -
SVD奇异值分解
SVD分解SVD分解是LSA的数学基础,本文是我的LSA学习笔记的一部分,之所以单独拿出来,是因为SVD可以说是LSA的基础,要理解LSA必须了解SVD,因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题,一个分为3个部分,第一部分讨论线性代数中的一些基础知识,第二部分讨论SVD矩阵分解,第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识1转载 2014-02-27 23:54:57 · 723 阅读 · 0 评论 -
形象解释mapreduce
第一篇我们在Domions点餐之后,柜台的小伙子告诉我们说披萨需要15分钟才能准备好。于是,我问妻子:“你真的想要弄懂什么是MapReduce?” 她很坚定的回答说“是的”。 因此我问道:我: 你是如何准备洋葱辣椒酱的?(以下并非准确食谱,请勿在家尝试)妻子: 我会取一个洋葱,把它切碎,然后拌入盐和水,最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。妻子: 但这和MapRe转载 2014-01-09 14:38:53 · 2685 阅读 · 0 评论 -
从SVD到LSA&PLSA
【Latent semantic analysis】LSA最初是用在语义检索上,为了解决一词多义和一义多词的问题:1.一词多义: 美女和PPMM表示相同的含义,但是单纯依靠检索词“美女”来检索文档,很可能丧失掉那些包含“PPMM”的文档。2.一义多词:如果输入检索词是多个检索词组成的一个小document,例如“清澈 孩子”,那我们就知道这段文字主要想表达concept是和道德相关的,转载 2014-01-08 12:25:15 · 988 阅读 · 0 评论 -
libsvm 代码分析
void Solve(int l, QMatrix Q, double[] p_, byte[] y_, double[] alpha_, double Cp, double Cn, double eps, SolutionInfo si, int shrinking){this.l = l;this.Q = Q;QD = Q.get_QD();p = (double原创 2013-12-03 13:34:30 · 1713 阅读 · 0 评论 -
Support Vector Machine Algorithm For Regression(SVR)算法详细解析
原创 2013-09-01 12:04:42 · 5642 阅读 · 1 评论 -
Support Vector Machine Algorithm(SVM)算法详细解析
作者:keith本文参考了JULY 的三层SVM讲解网址http://blog.csdn.net/v_july_v/article/details/7624837#comments还有jerrylead的smo算法实现网址http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.htmlleo zhang的svm学习网址原创 2013-06-19 15:38:51 · 2547 阅读 · 0 评论 -
朴素贝叶斯算法学习 (二)
第二、走进朴素贝叶斯算法其实在很早前就听说过贝叶斯这个次,从概率论的贝叶斯公式,到贝叶斯神经网络,所以一直认为贝叶斯就是指的神经网络(太弱的想法了)。最近有一个项目需要用到朴素贝叶斯算法,说这个suanf原创 2014-04-24 19:16:07 · 1201 阅读 · 0 评论