2015年07月_kxy司马羽鹤

原创《统计学习方法》笔记（十四）--HMM（1）

定性：是一种生成模型，用于对隐变量进行标注等问题。隐马尔可夫模型：由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。模型由初始状态，状态转移矩阵，观测概率矩阵（又叫混淆矩阵）三部分组成。基于两个假设：齐次马尔科夫性（任意时刻状态只与前一个时刻状态有关），观测独立性假设（任意时刻的观测只与当前时刻状态有关） HMM的三个基本问题：概

2015-07-16 08:40:28 643

原创《统计学习方法》笔记（十三）--EM

EM本身是一种迭代算法，目的是实现含有隐变量的模型参数的极大似然估计，以及后验分布的众数。 EM也可以用来补全缺失的数据集。（在此不做重点考虑）算法描述：输入：观测变量数据Y，隐含变量Z，联合分布P(Y,Z|theta)，条件分布P(Z|Y,theta) 输出：模型参数theta 1.选择参数的初值theta0，开始迭代 2.E步：构造Q函数，是当前参数下的一个期望 3.M步：将

2015-07-15 08:36:51 357

原创《统计学习方法》笔记（十二）--Adaboost

通过改变样本的权重来学习多个分类器并将这些分类器进行线性组合，提高分类性能。理论依据：在PAC（probably approximately correct）的框架下强可学习与弱可学习的等价性书中例8.1的MATLAB实现 %adaboost 例8.1 %一个一维分类器 %弱分类器用的是简单的阈值处理 close all; clear all; clc; %% x=0:1:9; y=[1

2015-07-10 10:33:01 541

原创《统计学习方法》笔记（十一）--SMO

SMO(Sequential Minimal Optimization)序列最小最优化是一种高效的实现SVM的方法，是一种启发式算法目标仍然是解决凸二次规划的对偶问题。通过解决多变量问题的子问题，即两个变量的二次规划，来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解，这样就可以提高计算速度。 SMO包含两个部分：求解两个变量二次规划的解析方法以及选择变量

2015-07-09 14:50:14 379

原创《统计学习方法》笔记（十）--SVM(2)

线性支持向量机和软间隔最大化解决有一些特异点造成的数据集线性不可分的问题将约束条件变为yi*(w*x+b)>=1-z，把z叫做松弛变量是非负的实数；目标函数也由原先的0.5||w||^2，变为0.5||w||^2+c*sum(zi），c是对误分类的惩罚。解决这个凸二次规划问题的算法仍然是通过对偶问题的求解来得到原始问题的解合页损失函数：[1-y*(w*x+b)] 通过合

2015-07-07 08:55:03 281

原创《统计学习方法》笔记（九）--SVM(1)

定性：二类分类模型，是判别式模型核心思想：间隔最大化主要途径：求解凸二次规划包括三部分：线性可分支持向量机，线性支持向量机，非线性支持向量机。 1.线性可分支持向量机与硬间隔最大化注意：svm是在特征空间中进行学习的 svm与感知机的区别：感知机利用误差分类最小的策略，求得分离超平面，解有无穷多个。 svm利用间隔最大化求最优分离超平面，解是唯一的。函数间隔，几何间隔

2015-07-03 09:13:29 482

原创《统计学习方法》笔记（八）--最大熵模型

定性：针对分类问题的一种判别式模型最大熵原理：本来它是一个概率模型学习的准则，具体如下:学习概率模型时，在所有可能的概率分布中，熵最大的模型是最好的模型。熵最大原理认为，在选择模型的时候，我们首先要考虑实际问题的约束条件，在充分考虑约束之后如果模型还有多种可能，我们要选择其中熵较大的那个（通常会用到均匀分布，即使得各种取值等可能性，这种情况被证明熵最大）。最大熵模型：所有满足时约束条件

2015-07-02 08:59:00 494

原创《统计学习方法》笔记（七）--logistic 回归

定性：判别模型，用于分类（注意：它虽然叫“回归”，却是一种分类的方法） logistic distribution：以u为位置参数，以y为形状参数。（分布函数以及密度函数的图像与正态分布很像，但不是）模型：P(Y=1|x)=exp(w*x+b)/(1+exp(w*x+b)); P(Y=0|x)=1/(1+exp(w*x+b)). 模型中的参数估计：（极大似然

2015-07-01 09:14:56 352

司马羽鹤