机器学习
文章平均质量分 88
GZGlenn
这个作者很懒,什么都没留下…
展开
-
PCA(主成分分析)浅析
基本知识:方差: 少了个平方 协方差:协方差用于衡量两个变量的总体误差情况,可以说方差是协方差的一种特殊情况,即当两个变量是相同的情况 而协方差矩阵是一个矩阵,其每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机变量的自然推广。特征值(向量):设A为n阶矩阵,若存在常数λ及n维非零向量x,原创 2016-04-03 12:40:36 · 1026 阅读 · 0 评论 -
PRML读书笔记——稀疏核机
这一章主要介绍SVM和相关向量机。SVM是一个决策机器,不提供后验概率,而且得到的解是稀疏的,这里的稀疏指的是,只有部分训练样本(支持向量)对模型结果有影响。而RVM是基于贝叶斯方法的,能提供后验概率的输出,并且通常能产生比SVM更稀疏的解。原创 2017-04-12 21:45:02 · 1931 阅读 · 0 评论 -
PRML读书笔记——概率分布
本章主要介绍各种概率分布,包括伯努利分布、Beta分布、狄利克雷分布、高斯分布(重点)、指数族分布和非参数化方法估计的概率分布等原创 2017-04-21 18:09:58 · 2008 阅读 · 0 评论 -
PRML读书笔记——线性分类模型
这一章主要介绍线性分类模型,包括生成模型和判别模型。所谓线性模型,是指决策面是输入向量x的线性函数,决策面是D维输入空间的D-1维超平面原创 2017-04-23 15:01:41 · 1155 阅读 · 0 评论 -
PRML读书笔记——线性回归模型
这一章从线性回归模型的基本形式出发,主要围绕线性基函数的回归模型展开,分析了最大似然估计和最小平方误差函数的关系、最小平方误差函数的几何意义、正则化的最小平方误差,然后用偏置-方差分解的角度理解正则化项;用贝叶斯的思想分析线性回归模型,介绍了模型证据的意义,最后分析线性回归模型的局限性原创 2017-04-22 15:53:47 · 2206 阅读 · 0 评论 -
PRML读书笔记——神经网络
线性模型会被维数灾难问题限制,为了将模型应用于大规模的问题,需要根据数据调节基函数。一种方法是实现固定基函数的数量,但使用参数形式的基函数,这些参数可以在训练阶段调节,而神经网络就是这样一种模型。原创 2017-04-20 16:56:17 · 1394 阅读 · 1 评论 -
PRML读书笔记——顺序数据
这一章主要讲解隐马尔科夫模型和线性动态系统。它们都是马尔科夫模型衍生出来的,区别是如果潜在变量是离散的,模型变成了隐马尔科夫模型,潜在变量是连续且服从高斯分布的,模型变成线性动态系统。这两个模型的推导和求解非常相似,这里主要介绍隐马尔科夫模型,线性动态系统的推导和预测也与它相似,但由于是高斯模型,推导过程其实会变得比较复杂,这里不做介绍原创 2017-04-17 11:56:37 · 759 阅读 · 0 评论 -
PRML读书笔记——连续潜在变量
这一章主要讲解PCA相关的技术包括PCA的两种推导形式、概率PCA、核PCA以及隐变量模型的几个应用原创 2017-04-16 16:32:41 · 2362 阅读 · 0 评论 -
PRML读书笔记——采样方法
我们假设,使⽤解析的⽅法精确地求出对应期望是⼗分复杂的。因此,我们采用采样的方法抽取出样本,计算出对应的值本章的采样方法主要包括:重要采样、拒绝采样、蒙特卡罗采样、吉布斯采样、切片采样和混合蒙特卡罗采样等原创 2017-04-15 16:06:09 · 3477 阅读 · 0 评论 -
PRML读书笔记——图模型
本章主要分析贝叶斯网络、条件独立、马尔科夫随机场和图模型的推断原创 2017-04-14 14:01:32 · 5351 阅读 · 0 评论 -
PRML读书笔记——混合模型与EM
如果观测变量上的边缘概率分布很复杂,可以引入潜在变量,得到观测变量和潜在变量的更加便于计算的联合概率分布。利用联合概率分布分析观测变量的概率。也就是说,潜在变量的引入是的复杂的概率分布可以由简单的分量组成。EM算法是找到具有潜在变量的模型的最大似然解的方法,本章的主要目的是讲解EM算法。首先通过Kmeans聚类和混合高斯模型引出EM算法,最后给出EM算法的通用形式和理论说明。K均值聚类这里介绍K均值原创 2017-04-14 20:15:22 · 1434 阅读 · 1 评论 -
PRML读书笔记——组合模型
我们经常发现,可以通过以某种方式将多个模型结合到一起的方法来提升性能,而不是独立地使用一个单独的模型。本章主要基于模型组合的思想,分析committe方法、提升的方法、条件混合模型,也顺带讲解决策树模型。原创 2017-04-18 12:20:36 · 1518 阅读 · 0 评论 -
PRML读书笔记——Kernel Methods
本章主要介绍核方法相关的知识,包括对偶表示、构造核、常见的核函数以及将核方法应用于高斯过程核方法原创 2017-04-19 21:08:30 · 2062 阅读 · 2 评论