Lucky_Go的博客

最近做时间序列分析的时候需要用到奇异谱分析，发现网上可以查到的资料很有限，看paper的时候发现大部分也说得有些简略，所以这里看完之后总结一下。  奇异谱分析(Singular Spectrum Analysis, SSA)是一种处理非线性时间序列数据的方法，通过对所要研究的时间序列的轨迹矩阵进行分解、重构等操作，提取出时间序列中的不同成分序列(长期趋势，季节趋势，噪声等)，从而进行对时间序列进...

原理实现

  在前面的朴素贝叶斯分类器推导中，我们是基于训练样本所有属性值都是已知的这个假设，但是实际应用中往往存在训练样本的某些属性值未知，此时就需要用到EM算法来进行参数估计。EM算法的全称为最大期望算法(Expectation-Maximization algorithm)，它是基于最大似然估计理论的一种优化算法，通常用来对存在隐变量的概率模型进行参数估计。最大似然估计  假设我们在校园里随机找了...

基础知识  朴素贝叶斯分类器是基于贝叶斯决策理论的分类模型，首先来了解一下贝叶斯决策理论和概率论的相关知识。贝叶斯决策理论  概率决策是贝叶斯决策理论的核心思想。在执行分类任务的时候我们无法保证分类的结果总是正确的，贝叶斯决策理论的目的就是基于已有的相关概率来做出使得误判损失最低的决策。  对于一个多分类任务，假定样本总共有 mmm 类：c1,c2,...,cm{c_1, c_2,...,...

决策树的基本概念  决策树是一类常用的机器学习方法，决策树实现决策的过程和我们平时做决定的过程很相似。想想如果自己马上要放假，要不要出去浪就是个大问题，首先考虑老板交代的接近deadline的项目有没有完成，如果完成了就可以放心大胆的浪了，否则就乖乖磕研吧；任务完成了，但是转念一想，最近剁手太多没钱，算了还是宅着省钱吧；突然发现发工资了，有钱浪了，赶紧看看天气预报，如果假期天气不错果断室外放飞自...

原理简介  模糊c均值聚类(Fuzzy C-Means)是引入了模糊理论的一种聚类算法，通过隶属度来表示样本属于某一类的概率，原因在于在很多情况下多个类别之间的界限并不是绝对的明确。显然，相比于k-means的硬聚类，模糊c均值聚类得到的聚类结果更灵活。  模糊c均值聚类通过最小化一下目标函数来得到聚类中心：(1)Jm=∑i=1N∑j=1Cuijm∥xi−cj∥2,1≤m<∞J...

算法概述  自我感觉K-近邻(k-NearestNeighbor)算法是最简单最易理解的分类算法了。怎么个简单法呢？简单到没有一个训练分类器的过程，仅仅根据需要分类的样本到已知类别的样本之间的距离来进行分类。  简单来讲，如果存在一个训练样本集，并且训练集中每个样本对应的类别也已知；那么对于未知类别的新样本，我们计算它到每个训练样本的距离，然后选择距离最近的k个样本，这k个样本中计数最多的一类...