u010555688的专栏

一、高斯模型简介      首先介绍一下单高斯模型(GSM)和高斯混合模型(GMM)的大概思想。1.单高斯模型      如题，就是单个高斯分布模型or正态分布模型。想必大家都知道正态分布，这一分布反映了自然界普遍存在的有关变量的一种统计规律，例如身高，考试成绩等；而且有很好的数学性质，具有各阶导数，变量频数分布由μ、σ完全决定等等，在许多领域得到广泛应用。在这里简单介绍下高斯分布的概

一、基础数学知识      在正式介绍EM算法之前，先介绍推导EM算法用到的数学基础知识，包括凸函数，Jensen不等式。    1.凸函数      对于凸函数，凹函数，如果大家学过高等数学，都应该知道，需要注意的是国内教材如同济大学的《高等数学》的这两个概念跟国外刚好相反，为了能更好的区别，本文章把凹凸函数称之为上凸函数，下凸函数，具体定义如下：上凸函数：函数f(x)满足对定义

聚类的方法有很多种，k-means要数最简单的一种聚类方法了，其大致思想就是把数据分为多个堆，每个堆就是一类。每个堆都有一个聚类中心（学习的结果就是获得这k个聚类中心），这个中心就是这个类中所有数据的均值，而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心（分类的过程就是将未知数据对这k个聚类中心进行比较的过程，离谁近就是谁）。其实k-means算的上最直观、最方便理解的一种聚类方式了，原

不管是GMM，还是k-means，都面临一个问题，就是k的个数如何选取？比如在bag-of-words模型中，用k-means训练码书，那么应该选取多少个码字呢？为了不在这个参数的选取上花费太多时间，可以考虑层次聚类。假设有N个待聚类的样本，对于层次聚类来说，基本步骤就是：       1、（初始化）把每个样本归为一类，计算每两个类之间的距离，也就是样本与样本之间的相似

之前谈到了迁移学习和自我学习（可以看这里），今天会系统整理一下与迁移学习相互关联的几个概念。        迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义，则是说，当教会了d电脑学习区分大象和犀牛的能力后，电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力（所谓温故而知新），当我们学会了一项本领后，再去学习另外一项相关的

3.1 随机模拟随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上

判别式模型与生成式模型发表于2011-09-16摘要　　　生成式模型：无穷样本 -> 概率密度模型 = 产生式模型 -> 预测　　判别式模型：有限样本 -> 判别函数 = 判别式模型 -> 预测简介　　简单的说，假设 o 是观察值，m 是模型。　　如果对 P(o|m) 建模，就是生成式模型。其基本思想是首先建立样本的概率密