机器学习
文章平均质量分 88
biubiu_scut
这个作者很懒,什么都没留下…
展开
-
【机器学习-斯坦福】学习笔记1 - 机器学习的动机与应用
开始看Andrew Ng的经典课程机器学习,随堂做的学习笔记机器学习的动机与应用工具:需正版:Matlab,免费:Octave 定义(Arthur Samuel 1959):在不直接针对问题进行编程的情况下,赋予计算机学习能力的研究领域。例:Arthur的下棋程序,计算走每一步获胜的概率,最终打败程序作者本人。(感觉使用决策树思想)转载 2013-11-28 11:26:41 · 1343 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记16 独立成分分析(Independent Component Analysis)
1. 问题: 1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢? 2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里共放置了n个声音接收器(Microphone)用来记录声音。宴会过后,我们从n个转载 2013-12-03 10:05:58 · 2979 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记17 ICA扩展描述
7. ICA算法扩展描述 上面介绍的内容基本上是讲义上的,与我看的另一篇《Independent Component Analysis:Algorithms and Applications》(Aapo Hyvärinen and Erkki Oja)有点出入。下面总结一下这篇文章里提到的一些内容(有些我也没看明白)。 首先里面提到了一个与“独立”相似的概念转载 2013-12-03 10:08:30 · 1841 阅读 · 2 评论 -
【机器学习-斯坦福】学习笔记19——线性判别分析(Linear Discriminant Analysis)(二)
4. 实例 将3维空间上的球体样本点投影到二维上,W1相比W2能够获得更好的分离效果。 PCA与LDA的降维对比: PCA选择样本点投影具有最大方差的方向,LDA选择分类性能最好的方向。 LDA既然叫做线性判别分析,应该具有一定的预测功能,比如新来一个样例x,如何确定其类别?转载 2013-12-03 10:12:57 · 1892 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记23——偏最小二乘法回归(Partial Least Squares Regression)
1. 问题 这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了,下面主要介绍其思想而非完整的教程。让我们回顾一下最早的Linear Regression的缺点:如果样例数m相比特征数n少(m(n*n矩阵)的秩小于特征个数(即不可逆)。因此最小二乘法就会失效。 为了解决这个问题,我们会使用PCA对样本X(m*n矩阵)进行降转载 2013-12-03 10:29:12 · 4702 阅读 · 1 评论 -
【机器学习-斯坦福】学习笔记22——典型关联分析(Canonical Correlation Analysis)
1. 问题 在线性回归中,我们使用直线来拟合样本点,寻找n维特征向量X和输出结果(或者叫做label)Y之间的线性关系。其中,。然而当Y也是多维时,或者说Y也有多个特征时,我们希望分析出X和Y的关系。 当然我们仍然可以使用回归的方法来分析,做法如下: 假设,,那么可以建立等式Y=AX如下 其中,形式和线性回转载 2013-12-03 10:27:48 · 5663 阅读 · 1 评论 -
【机器学习-斯坦福】学习笔记3 - Logistic回归
欠拟合与过拟合概念本次课程大纲:1、 局部加权回归:线性回归的变化版本2、 概率解释:另一种可能的对于线性回归的解释3、 Logistic回归:基于2的一个分类算法4、 感知器算法:对于3的延伸,简要讲 复习: –第i个训练样本令,以参数向量为条件,对于输入x,输出为:n为特征数量转载 2013-11-28 11:29:03 · 1698 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)
牛顿方法本次课程大纲:1、 牛顿方法:对Logistic模型进行拟合2、 指数分布族3、 广义线性模型(GLM):联系Logistic回归和最小二乘模型 复习:Logistic回归:分类算法假设给定x以为参数的y=1和y=0的概率:求对数似然性:对其求偏导数,应用梯度转载 2013-11-28 11:30:21 · 2883 阅读 · 0 评论 -
机器学习 混合高斯模型再述
下面介绍一下几种典型的机器算法首先第一种是高斯混合模型算法:高斯模型有单高斯模型(SGM)和混合高斯模型(GMM)两种。(1)单高斯模型:为简单起见,阈值t的选取一般靠经验值来设定。通常意义下,我们一般取t=0.7-0.75之间。二维情况如下所示:(2)混合高斯模型: 对于(b)图所示的情况转载 2013-12-03 19:22:55 · 1371 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记6 - 朴素贝叶斯
朴素贝叶斯本次课程大纲:1、 朴素贝叶斯- 朴素贝叶斯事件模型2、 神经网络(简要)3、 支撑向量机(SVM)铺垫 – 最大间隔分类器 复习:1、 朴素贝叶斯一种生成学习算法,对p(x|y)建模。 例:垃圾邮件分类以邮件输入流作为输入,输出y为{0,1},1为垃圾邮件,0为非垃圾邮件。转载 2013-11-28 11:33:14 · 1492 阅读 · 0 评论 -
adaboost算法
菜鸟最近开始学习machine learning。发现adaboost 挺有趣,就把自己的一些思考写下来。主要参考了http://stblog.baidu-tech.com/?p=19,其实说抄也不为过,但是我添加了一些我认为有意思的东西,所以我还是把它贴出来了,呵呵。一 Boosting 算法的起源boost 算法系列的起源来自于PAC Learnabilit转载 2014-06-08 09:50:31 · 688 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记14 主成分分析(Principal components analysis)-最大方差解释
在这一篇之前的内容是《Factor Analysis》,由于非常理论,打算学完整个课程后再写。在写这篇之前,我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题 真实的训练数据总是存在各种各样的问题:1、 比如拿到转载 2013-12-03 09:57:45 · 2288 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记13 在线学习(Online Learning)
原题目叫做The perception and large margin classifiers,其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习(batch learning),就是给了一堆样例后,在样例上学习出假设函数h。而在线学习就是要根据新来的样例,边学习,边给出结果。 假设样例按照到来的先后顺序依次定义为。X为样本特征,y为类别标签。我们的任务是到来一个样转载 2013-12-03 09:55:14 · 8381 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记11 混合高斯模型(Mixtures of Gaussians)和EM算法
这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。 与k-means一样,给定的训练样本是,我们将隐含类别标签用表示。与k-means的硬指定不同,我们首先认为是满足一定的概率分布的,这里我们认为满足多项式分布,,其中,有k个值{1,…,k}可以选取。而且我们认为在给定后,满足多值高斯分布,即。由转载 2013-12-03 09:49:32 · 2144 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记2 - 监督学习应用与梯度下降
监督学习应用与梯度下降本课内容:1、 线性回归2、 梯度下降3、 正规方程组 (复习)监督学习:告诉算法每个样本的正确答案,学习后的算法对新的输入也能输入正确的答案 1、 线性回归例:Alvin汽车,先让人开车,Alvin摄像头观看(训练),而后实现自动驾驶。本质是一个回归问题,汽车尝试预测行驶方向。转载 2013-11-28 11:27:50 · 1296 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记5 - 生成学习算法
生成学习算法本次课程大纲:1、 生成学习算法2、 高斯判别分析(GDA,Gaussian Discriminant Analysis)- 高斯分布(简要)- 对比生成学习算法&判别学习算法(简要)3、 朴素贝叶斯4、 Laplace平滑 复习:分类算法:给出一个训练集,若使用logi转载 2013-11-28 11:31:39 · 1823 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记7 - 最优间隔分类器问题
最优间隔分类器问题本次课程大纲:1、 最优间隔分类器2、 原始优化问题&对偶优化问题(KKT条件)3、 SVM对偶问题4、 核方法(下一讲) 复习:支撑向量机中改动的符号:输出y∈{-1,+1}h输出的假设值也改为{-1,+1}g(z) = { 1 , 如果z>=0; -1, 如果zhw.b(x)=g转载 2013-11-28 11:34:33 · 1389 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记15 主成分分析(Principal components analysis)-最小平方误差解释
接上篇3.2 最小平方误差理论 假设有这样的二维样本点(红色点),回顾我们前面探讨的是求一条直线,使得样本点投影到直线上的点的方差最大。本质是求直线,那么度量直线求的好不好,不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等,目的也是求一个线性函数使得直线能够最佳拟合样本点,那么我们能不能认为最佳的直线就是回归后的直线呢?回归时我们的最小二乘法度转载 2013-12-03 10:02:36 · 1944 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记8 软间隔 核函数
3.1 线性不可以分我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面。看下面两张图:可以看到一个离群点(可能是噪声)可以造成超平面的移动,间隔缩小,可见以前转载 2013-11-30 21:42:47 · 2591 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记9 规则化和模型选择(Regularization and model selection)
1 问题 模型选择问题:对于一个学习问题,可以有多种模型选择。比如要拟合一组样本点,可以使用线性回归,也可以用多项式回归。那么使用哪种模型好呢(能够在偏差和方差之间达到平衡最优)? 还有一类参数选择问题:如果我们想使用带权值的回归模型,那么怎么选择权重w公式里的参数?形式化定义:假设可选的模型集合是,比如我们想分类,那么SVM、logistic回归、神经网络转载 2013-12-03 09:43:11 · 1788 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记12 (EM算法)The EM Algorithm
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是转载 2013-12-03 09:51:48 · 3263 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记18——线性判别分析(Linear Discriminant Analysis)(一)
1. 问题 之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。 比如回到上次提出的文档中含有“learn”和“study”的问题,使用PCA后,也许可以将这两个特征合并为一个,降了维度。但假设我们的转载 2013-12-03 10:11:12 · 1852 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记20——因子分析(Factor Analysis)
1 问题 之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n,这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小,甚至m<<n的时候,使用梯度下降法进行回归时,如果初值不同,得到的参数结果会有很大偏差(因为方程数小于参数个数)。另外,如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时,也会有问题转载 2013-12-03 10:17:21 · 3079 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记21——增强学习(Reinforcement Learning and Control)
在之前的讨论中,我们总是给定一个样本x,然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题,很难有这么规则的样本。比如,四足机器人的控制问题,刚开始都不知道应该让其动那条腿,在移动过程中,也不知道怎么让机器人自动找到合适的前进方向。 另外如要设计一个下象棋的AI,每走一步实际上也是一个决策过程,虽然对于简单的棋有A*的启发式转载 2013-12-03 10:19:15 · 4292 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记10 K-means聚类算法
K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。 聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都是有类别标签y的,也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y,只有特征x,比如转载 2013-12-03 09:46:57 · 1755 阅读 · 0 评论