模式识别与机器学习1-14章内容小结-bishop
文章平均质量分 72
weishenmetlc
这个作者很懒,什么都没留下…
展开
-
第1章:Introduction
1.1 Example: Polynomial Curve Fitting1: 误差函数(error function):测量了函数y(x,w)预测的值与真实的值t之间的偏差。误差函数的一个选择:E(w⃗ )=1/2∗ΣNn=1[y(xn,w⃗ )−tn]2E(\vec w)=1/2*\Sigma_{n=1}^{N}{[y(x_{n},\vec w)-t_{n}]^{2}}\quad当我们解决曲线拟原创 2016-06-11 15:54:50 · 710 阅读 · 0 评论 -
Chapter 7: Sparse kernel Machines
以下是看完第7章的小结:原创 2016-09-19 20:57:42 · 569 阅读 · 0 评论 -
Chapter 9: Mixture Models and EM
以下是看完第九章的小结:原创 2016-09-24 16:30:55 · 499 阅读 · 0 评论 -
chapter 10:Approximate Inference
以下是看完第十章的小结:原创 2016-10-06 22:10:02 · 484 阅读 · 0 评论 -
Chapter 11: Sampling Methods
一:Introduction1:我们在做推理时,主要想要解决的是在后验概率p(z⃗ )p(\vec z)的情况下,计算f(z⃗ )f(\vec z)的期待值,即E[f]=∫f(z⃗ )p(z⃗ )dz⃗ E[f]=\int f(\vec z)p(\vec z)d\vec z当z⃗ \vec z是离散变量时,积分符号换成求和符号2:为了解决上述问题,抽样方法(sampling method)的观点是从原创 2016-11-13 22:26:23 · 915 阅读 · 0 评论 -
Chapter 13: Sequential data
一:Introduction1:在之前的章节中,我们假设数据集中的数据点是独立且全同分布的(i.i.d.)以至于我们可以将似然函数表达成每个数据点概率分布积的形式,但是这个情况不能适用所有情况,比如序列数据(sequential data)。sequential data经常出现在时间序列的测量中,数据先后产生。直觉告诉我们这些数据应该是前后关联的,所以i.i.d.的假设是不适用的;2:序列分布(s原创 2016-11-29 21:07:19 · 1618 阅读 · 0 评论 -
Chapter 14: Combining Models
一:Introduction1:相比于仅仅使用一个模型,多个模型结合在一起往往能够提高对数据集拟合的表现;2:Committee:独立地训练L个不同的模型,然后将这L个模型预测的平均值作为最终的预测;3:Boosting:该方法是committee的变体,连续地训练L个不同的模型,每次训练一个模型时其误差函数依赖于上一个模型对数据集拟合的好坏;相比于仅仅使用一个模型,这种方法能够大大提高对数据集拟合原创 2016-12-11 21:16:59 · 588 阅读 · 0 评论 -
Chapter 12: Continuous Latent Variables
一:Principal Component Analysis(PCA)1:Maximum variance formulation:1):Maximum variance formulation的依据如下:数据正交投影到一个低维的线性空间,该低维线性空间的选择要使得投影数据的方差最大化,同时该低维线性空间也被称之为principal subspace;2):依据上述原理,我们能够获得如下的步骤去决定原创 2016-11-21 10:08:12 · 1348 阅读 · 0 评论 -
chapter 8:Graphical Models(图模型)
一:Introduction1:图由结点(node)和边(edge)组成,在概率图模型(probabilistic graphical model)中,每个结点表示一个随机变量或者一组随机变量,边表示这些变量之间的概率关系。The graph captures the way in which the joint distribution over all of the random variabl原创 2016-09-19 00:46:38 · 2529 阅读 · 0 评论 -
Chapter 6:Kernel Methods
一:导论1:在之前我们介绍的线性参数回归和分类模型或者是神经网络模型中,我们利用训练集(training set)给出参数w⃗ \vec w的点推测或者是后验分布,当我们做预测时,训练集将不再被使用到,我们纯粹是基于参数w⃗ \vec w的点推测或后验分布来做出预测的。同时还有另外一类技术,训练集不仅被用来训练模型参数,同时当我们对新的输入矢量x⃗ \vec x做预测时,训练集也会被使用到,例如使用原创 2016-09-19 01:01:46 · 740 阅读 · 0 评论 -
第1章:Introduction
1.3:Model Selection:\quad1:正如我们之前说的,当我们运用最大似然法去拟合模型的时候,会出现过度拟合的问题。因此此时我们不能用训练的模型在训练集上的表现来判断这个模型的好坏,这时候我们有如下几种方法来判断训练后的模型的表现。(1):把数据集按一定比例分为训练集(training set),验证集(validation set)和测试集(test set),我们利用训练集来训练原创 2016-06-12 01:22:39 · 608 阅读 · 0 评论 -
第三章:linear models for regression
一:Linear basis function models:y(x⃗ ,w⃗ )=∑j=0M−1wjϕj(x⃗ )=w⃗ Tϕ⃗ (x⃗ )y(\vec x,\vec w)=\sum_{j=0}^{M-1}{w_j\phi_{j}{(\vec x)}}=\vec w^{T}\vec \phi(\vec x)where:1:w⃗ =(w0,...,wM−1)T\vec w=(w_{0},...,w_原创 2016-07-24 21:06:43 · 1604 阅读 · 0 评论 -
第二章:probability distribution
1: Density Estimation: given a finite set x1...xN\textbf{x}_{1}...\textbf{x}_{N} of observations, find distribution p(x)p(\textbf{x}) of a random variable x\textbf{x}.2: Parametric Distribution: assu原创 2016-06-22 20:25:33 · 819 阅读 · 0 评论 -
第二章:probability distribution
2-3:Gaussian distribution7: 对于高斯函数的贝叶斯推断(1):单变量高斯分布p(x|u,σ)p(x|u,\sigma),此时平均值u未知,方差σ\sigma已知。则参数u的先验分布假设为p(u)=N(u|u0,σ20)p(u)=N(u|u_{0},\sigma_{0}^{2}),则后验分布为p(u|x⃗ )=N(u|uN,σ2N)p(u|\vec x)=N(u|u_{N},原创 2016-06-23 16:38:18 · 927 阅读 · 0 评论 -
第四章:Linear Models for Classification
四:Probabilistic Discriminative Models1:Logistic Regression for Two Classes:令p(C1|ϕ⃗ (x⃗ ))=y(ϕ⃗ (x⃗ ))=σ(w⃗ Tϕ⃗ (x⃗ ))p(C_{1}|\vec \phi(\vec x))=y(\vec \phi(\vec x))=\sigma{(\vec w^T\vec \phi(\vec x))}原创 2016-08-08 22:34:14 · 651 阅读 · 0 评论 -
第四章:Linear Models for Classification
一:导论1:分类问题的目标是把输入矢量为x⃗ \vec x的一个数据点分类到K个离散类CkC_{k}中的一个。在大部分的情况下,这些类是不相交的,因此每个输入数据点只能分配到一个类中,因为每个输入都对应着一个类,因此输入空间(input space)被分成了一系列的decision regions,这些decision regions的边界称为decision boundaries或者是decisi原创 2016-08-08 22:32:05 · 753 阅读 · 0 评论 -
Chapter 5: Neural Network
以下是看完第五章的小结:原创 2016-08-24 17:38:47 · 415 阅读 · 0 评论 -
<<模式识别与机器学习 (Pattern Recognization and Maching Learning)>>(PRML) 总结
\quadBishop 的大作《模式识别与机器学习》(Pattern Recognization and Maching Learning),简称为PRML,这本书被认为是贝叶斯方法的扛鼎之作,我有幸忙里偷闲地把这本书通读了一遍并且也把各个章节的习题几乎完成了一遍,可以见我的博客,作为看完这本书最后一个环节,我想为我看完这本书做一个总结。总结分为如下几个部分,分别是阅读此书可以采取的方法,本书主要内原创 2016-12-29 19:25:22 · 8254 阅读 · 2 评论