机器学习算法
文章平均质量分 85
free_lock
La vie ce n'est pas d'attendre que les orages passent... C'est d'apprendre comment danser sous la pluie.
展开
-
高斯混合模型EM算法
k-means算法对于数据点和clusters之间的关系,是all-or-nothing的关系,这是一个hard decision,往往会导致的局部最小值,这不是理想的求解。一种常见的做法,是学习这个协方差矩阵,而不是固定它们为单位矩阵。GMM模型及算法流程GMM的全称是Gaussian Mixture Model,即高斯混合模型。 假设我们有一个训练集{x1,...,xm}\{x^{1},...原创 2015-11-10 22:39:45 · 2255 阅读 · 0 评论 -
高斯模型EM算法推导
上文可能花了较多的时间在编辑公式,不过对于它们的由来却没有去深究。 第一眼看到一些结论仍然是很诧异的。此文就是用来梳理推导过程的,在参考文献1中其实有一个手写版的比较详尽的推导,不过仅仅推了μ\mu的计算。 先把这几个公式再罗列一遍吧⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪ϕj=1m∑mi=1I{z(i)=j}μj=∑mi=1I{z(i)=j}x(i)∑mi=1I{z(i)=j}Σj=∑mi=1I{z(i)=j}原创 2015-11-13 15:53:57 · 645 阅读 · 0 评论 -
Multi-Exemplar Affinity Propagation
AP算法存在的固有缺陷是它不能对包含很多子类的category进行建模,而在image categorization, face categorization, 多字体optical character recognition,手写数字分类,每个category可能包含很多子类。 比如说,在自然场景类别可能包含很多主题,比如说,街景中可能包含一些主题,比如road,car,pedestrian,b原创 2015-12-08 20:22:40 · 1092 阅读 · 2 评论 -
Affinity propagation 近邻传播算法
终日乾乾,与时偕行。 — 周易⋅\cdot乾⋅\cdot文言近邻传播算法是一种基于代表点的聚类方法,它会同时考虑所有数据点都是潜在的代表点,通过结点之间的信息传递,最后得到高质量的聚类。这个信息的传递,是基于sum-product或者说max-product的更新原则,在任意一个时刻,这原创 2015-11-18 16:27:26 · 5186 阅读 · 0 评论 -
AP算法实现解读
过而不悛,亡之本也。——《左传·襄公七年》上文讲了算法数学表达式,本文就其Matlab实现以及Python实现进行代码解析,重点是理解其应用。 matlab表达式的解读是原论文已经粘贴出来的,所以直接摘抄,希望能在矩阵运算上一探究竟。 python的实现基于sklearn工具包。Matlab 代码解读原数学表达式为: 下面这段代码是论文中给出的示例matlab代码,但是有助于我们了解基本原创 2015-11-27 19:18:36 · 6225 阅读 · 0 评论 -
Semi-Supervised Affinity Propagation with Soft Instance-Level Constraints 阅读笔记1
太上忘情,最下不及情,情之所钟,正在我辈。 —— 世说新语·伤逝目前AP算法有几个扩展研究方向。 一个是约束聚类的上限数目,比如算法: A Binary variable model for affinity propagation. 2009 ,Neural Comput 允许相似度矩阵的不确定性,或者发生变化: Clutering with uncertainties : An原创 2015-12-31 22:46:54 · 762 阅读 · 0 评论 -
spark下线性模型 spark.mllib
我还是参考官方的文档来写这个部分,顺便梳理下原理,给出对应代码及运行结果,一点也不复杂。数学公式许多的机器学习的算法实际上可以被写成凸优化的问题,比如说寻找凸函数ff的极小值,它取决于权重向量w,那么我们可以将优化目标函数写成: 这里xi∈Rdx_i \in R^d是训练数据,yi∈Ry_i \in R是它们对应的标签,线性方法可以表示成L(w;x,y)L(w;x,y),有几类mllib中的分翻译 2016-02-16 16:29:56 · 3219 阅读 · 0 评论 -
局部敏感哈希matlab代码解读
很早就想写一篇关于LSH的文章,后来发现前辈们已经写好了,容我这里再推荐一下该文。 Locality Sensitive Hashing(LSH)之随机投影法 http://www.strongczq.com/2012/04/locality-sensitive-hashinglsh%E4%B9%8B%E9%9A%8F%E6%9C%BA%E6%8A%95%E5%BD%B1%E6%B3%95.h原创 2016-03-17 21:19:34 · 5406 阅读 · 3 评论