2013年12月_biubiu_scut

12月 11月

转载机器学习混合高斯模型再述

下面介绍一下几种典型的机器算法首先第一种是高斯混合模型算法:高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种。（1）单高斯模型：为简单起见，阈值t的选取一般靠经验值来设定。通常意义下，我们一般取t=0.7-0.75之间。二维情况如下所示：（2）混合高斯模型：对于(b)图所示的情况

2013-12-03 19:22:55 1353

转载【机器学习-斯坦福】学习笔记23——偏最小二乘法回归（Partial Least Squares Regression）

1. 问题这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的Linear Regression的缺点：如果样例数m相比特征数n少（m（n*n矩阵）的秩小于特征个数（即不可逆）。因此最小二乘法就会失效。为了解决这个问题，我们会使用PCA对样本X（m*n矩阵）进行降

2013-12-03 10:29:12 4636 1

转载【机器学习-斯坦福】学习笔记22——典型关联分析（Canonical Correlation Analysis）

1. 问题在线性回归中，我们使用直线来拟合样本点，寻找n维特征向量X和输出结果（或者叫做label）Y之间的线性关系。其中，。然而当Y也是多维时，或者说Y也有多个特征时，我们希望分析出X和Y的关系。当然我们仍然可以使用回归的方法来分析，做法如下：假设，，那么可以建立等式Y=AX如下其中，形式和线性回

2013-12-03 10:27:48 5614 1

转载【机器学习-斯坦福】学习笔记21——增强学习（Reinforcement Learning and Control）

在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应该让其动那条腿，在移动过程中，也不知道怎么让机器人自动找到合适的前进方向。另外如要设计一个下象棋的AI，每走一步实际上也是一个决策过程，虽然对于简单的棋有A*的启发式

2013-12-03 10:19:15 4272

转载【机器学习-斯坦福】学习笔记20——因子分析（Factor Analysis）

1 问题之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时，也会有问题

2013-12-03 10:17:21 3068

转载【机器学习-斯坦福】学习笔记19——线性判别分析（Linear Discriminant Analysis）（二）

4. 实例将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。 PCA与LDA的降维对比： PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。 LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？

2013-12-03 10:12:57 1882

转载【机器学习-斯坦福】学习笔记18——线性判别分析（Linear Discriminant Analysis）（一）

1. 问题之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。但假设我们的

2013-12-03 10:11:12 1840

转载【机器学习-斯坦福】学习笔记17 ICA扩展描述

7. ICA算法扩展描述上面介绍的内容基本上是讲义上的，与我看的另一篇《Independent Component Analysis:Algorithms and Applications》（Aapo Hyvärinen and Erkki Oja）有点出入。下面总结一下这篇文章里提到的一些内容（有些我也没看明白）。首先里面提到了一个与“独立”相似的概念

2013-12-03 10:08:30 1832 2

转载【机器学习-斯坦福】学习笔记16 独立成分分析（Independent Component Analysis）

1. 问题： 1、上节提到的PCA是一种数据降维的方法，但是只对符合高斯分布的样本点比较有效，那么对于其他分布的样本，有没有主元分解的方法呢？ 2、经典的鸡尾酒宴会问题（cocktail party problem）。假设在party中有n个人，他们可以同时说话，我们也在房间中一些角落里共放置了n个声音接收器（Microphone）用来记录声音。宴会过后，我们从n个

2013-12-03 10:05:58 2926

转载【机器学习-斯坦福】学习笔记15 主成分分析（Principal components analysis）-最小平方误差解释

接上篇3.2 最小平方误差理论假设有这样的二维样本点（红色点），回顾我们前面探讨的是求一条直线，使得样本点投影到直线上的点的方差最大。本质是求直线，那么度量直线求的好不好，不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等，目的也是求一个线性函数使得直线能够最佳拟合样本点，那么我们能不能认为最佳的直线就是回归后的直线呢？回归时我们的最小二乘法度

2013-12-03 10:02:36 1932

转载【机器学习-斯坦福】学习笔记14 主成分分析（Principal components analysis）-最大方差解释

在这一篇之前的内容是《Factor Analysis》，由于非常理论，打算学完整个课程后再写。在写这篇之前，我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题真实的训练数据总是存在各种各样的问题：1、比如拿到

2013-12-03 09:57:45 2276

转载【机器学习-斯坦福】学习笔记13 在线学习（Online Learning）

原题目叫做The perception and large margin classifiers，其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习（batch learning），就是给了一堆样例后，在样例上学习出假设函数h。而在线学习就是要根据新来的样例，边学习，边给出结果。假设样例按照到来的先后顺序依次定义为。X为样本特征，y为类别标签。我们的任务是到来一个样

2013-12-03 09:55:14 8349

转载【机器学习-斯坦福】学习笔记12 （EM算法）The EM Algorithm

EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是

2013-12-03 09:51:48 3253

转载【机器学习-斯坦福】学习笔记11 混合高斯模型（Mixtures of Gaussians）和EM算法

这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由

2013-12-03 09:49:32 2127

转载【机器学习-斯坦福】学习笔记10 K-means聚类算法

K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如

2013-12-03 09:46:57 1725

转载【机器学习-斯坦福】学习笔记9 规则化和模型选择（Regularization and model selection）

1 问题模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w公式里的参数？形式化定义：假设可选的模型集合是，比如我们想分类，那么SVM、logistic回归、神经网络

2013-12-03 09:43:11 1777