2014年02月__北方的雪_

转载隐马尔可夫模型HMM

隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。　　考虑下面交通灯的

2014-02-24 15:06:23 984

对于一个刚刚进行研究课题的研究生来说，进行大量文献阅读是从事科学研究的第一个阶段，通过文献的阅读可以了解国内外相关领域的研究现状，同时也能从文献中学到很多实验方法，然而，面对大量的英文文献，将所有精力平均分配在每篇文献中是不可取的，毕竟研究生的学习期限较短，谁也不愿意读五年、六年之后才能毕业，因此，对于不同的文献可以采用三种不同的方法，即略读、泛读和精读。如何才能将大量文献进行分类呢？首先我们得学

2014-02-23 21:51:44 2055

原创 PCA原理分析

在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。一：PCA基本思想及数学模型（一）主成分分析的基本思想主成

2014-02-22 20:39:00 1916

转载基于GMM算法的EM算法

高斯混合模型本文就高斯混合模型（GMM,Gaussian Mixture Model）参数如何确立这个问题，详细讲解期望最大化（EM,Expectation Maximization）算法的实施过程。单高斯分布模型GSM多维变量X服从高斯分布时，它的概率密度函数PDF为：x是维度为d的列向量，u是模型期望，Σ是模型方差。在实际应用中u通常用样本均值来代替，Σ通常用样本方

2014-02-22 11:35:57 2615

转载决策树CART

分类回归树(CART,Classification And Regression Tree)也属于一种决策树，上回文我们介绍了基于ID3算法的决策树。作为上篇，这里只介绍CART是怎样用于分类的。分类回归树是一棵二叉树，且每个非叶子节点都有两个孩子，所以对于第一棵子树其叶子节点数比非叶子节点数多1。表1名称体温表面覆盖胎生产蛋

2014-02-13 19:28:33 2670

转载机器学习十大经典算法

一、C4.5C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5相比于ID3改进的地方有：1、用信息增益率来选择属性。ID3选择属性用的是子树

2014-02-13 19:15:28 797

转载 ID3

ID3算法是J. Ross Quinlan在1975提出的分类预测算法，当时还没有数据挖掘吧，哈哈哈。该算法的核心是“信息熵”,属于数学问题，我也是从这里起发现数据挖掘最底层最根本的不再是编程了，而是数学，编程只是一种实现方式而已，数学才是基础，如：朴素贝叶斯分类，小波聚类，尤其是我正在搞的支持向量机，它就是高等代数，空间解析几何，概率统计的综合应用。记得读本科时，朱琛学姐说过,数学学得再好也不为

2014-02-13 19:14:07 1005

原创《剑指offer》第五章优化时间和空间效率总结

在时间复杂度不能满足要求时，借助辅助空间。1. Partition函数方法是一种“从n个数字中查找第k大数字”的较好的方法，其复杂度是O(N),缺点是会改变原来的数组；2. 学会并熟悉STL中常见的函数模板和容器，如set、multiset、unordered_set、qsort等3. 如果需要判断多个字符是否在某个字符串中出现过或者统计多个字

2014-02-13 00:51:23 865

原创《剑指offer》第四章解决面试题的思路总结

常见的解决思路、方法是：画图、举例以及分解。1. 画图：将抽象的问题具体化；2. 举例：将抽象的问题具体化；在面对较难或时间复杂度要求较高的问题时，通常引入辅助空间（栈，队列、哈希表等）；3. 分解：分解让较复杂的问题一步一步解决，使之简单化；常见的分解方法有分治法、动态规划法等；4. 注意递归的灵活调用（和while循环的

2014-02-13 00:50:33 736

北方的雪之博客专栏