关注
分享
江湖传言，读好PRML，便可独步“机器学习”之天下。小可初入江湖，在修炼PRML过程中，曾因有些问题百思不得其解而困惑苦恼，也曾因突然参透书中精要而欣喜万分。本着以武会友的原则，小可将修炼心得分享出来，与大家切磋，万望不吝赐教。希望与同道一起传播PRML
笑看风云之变换
这个作者很懒，什么都没留下…
展开
-
6.4 高斯过程（PRML读书笔记）
在6.1节，通过将对偶性的概念应⽤于回归的⾮概率模型，我们引出了核的概念。这⾥，我们把核的角⾊推⼴到概率判别式模型中，引出了⾼斯过程的框架。 在第3章，我们考虑了线性回归模型，形式为y(x,w)=wTϕ(x)y(\textbf{x},\textbf{w}) = \textbf{w}^T\phi(x)y(x,w)=wTϕ(x)。我们证明了，w\textbf{w}w上的先验分布会产⽣函数y(x...原创 2019-04-16 14:01:14 · 512 阅读 · 0 评论 -
6.3.1 Nadaraya-Watson模型（PRML读书笔记）
在3.3.3节，我们看到，对于新的输⼊xxx，线性回归模型的预测的形式为训练数据集的⽬标值的线性组合，组合系数由“等价核”（3.62）给出，其中等价核满⾜加和限制（3.64）。 我们可以从核密度估计开始，以⼀个不同的⾓度研究核回归模型（3.61）。假设我们有⼀个训练集{xn,tn}\{\textbf{x}_n, t_n\}{xn,tn}，我们使⽤Parzen密度估计来对联合分布p(x...原创 2019-04-14 14:24:33 · 4525 阅读 · 1 评论 -
6.2 构造核（PRML读书笔记）
为了利⽤核替换，我们需要能够构造合法的核函数。有两张方法：⼀种⽅法是选择⼀个特征空间映射ϕ(x)\phi(\textbf{x})ϕ(x)，然后使⽤这个映射寻找对应的核。按此方法⼀维空间的核函数被定义为⼀种⽅法是直接构造核函数。我们必须确保我们核函数是合法的，即它对应于某个（可能是⽆穷维）特征空间的标量积。确保函数是核函数有如下几种方法：函数能分解成ϕ(x)Tϕ(x′）\phi(...原创 2019-04-11 22:47:28 · 539 阅读 · 0 评论 -
6.1 对偶表示（PRML读书笔记）
本节小结 许多回归的线性模型和分类的线性模型的公式都可以使⽤对偶表⽰，从而引出了核函数。本小节将正则化的平方误差函数（公式6.2）转换成对偶表示（公式6.9）。其中， k(x)T=(k(x1,x),...,k(xN,x))\textbf{k}(\textbf{x})^T=(k(\textbf{x}_1, \textbf{x}),...,k(\textbf{x}_N,\textbf{x...原创 2019-04-11 09:15:32 · 989 阅读 · 1 评论 -
5.1 前馈神经网络（PRML读书笔记）
回归和分类的线性模型分别在第3章和第4章中讨论过了。它们基于固定⾮线性基函数ϕj(x)\phi_j(\textbf{x})ϕj(x)的线性组合，形式为其中f(⋅)f(·)f(⋅)在分类问题中是⼀个⾮线性激活函数，在回归问题中为恒等函数。我们的⽬标是推⼴这个模型，使得基函数ϕj(x)\phi_j(\textbf{x})ϕj(x)依赖于参数，从⽽能够让这些参数以及系数{wjw_jwj}在...原创 2019-04-12 07:12:30 · 314 阅读 · 0 评论 -
4.3 概率判别式模型（PRML读书笔记）
本节小节笔记 判别式⽅法的⼀个优点是通常有更少的可调节参数需要确定，正如我们稍后会看到的那样。并且预测表现也会提升，尤其是当类条件概率密度的假设没有很好地近似真实的分布的时候更是如此（这三个优点如何理解）。4.3.1 固定基函数 需要注意的是，⾮线性变换ϕ(x)不会消除这些重叠。实际上，这些变换会增加重叠的程度，或者在原始观测空间中不存在重叠的地⽅产⽣出新的重叠。然⽽，恰当地选择⾮线性...原创 2019-04-07 15:57:33 · 528 阅读 · 0 评论 -
4.2 概率生成式模型（PRML读书笔记）
本节小结本小节介绍了通过生成式方式求解类的后验概率的方法。我们通过对类先验概率p(Ck)p(C_k)p(Ck)和类条件概率p(x∣Ck)p(\textbf{x}|C_k)p(x∣Ck)分别建模，再根据贝叶斯定理p(Ck∣x)=p(x∣Ck)p(Ck)∑jp(x∣Cj)p(Cj)p(C_k|\textbf{x})=\frac{p(\textbf{x}|C_k)p(C_k)}{\sum_{j}p...原创 2019-04-06 10:21:27 · 509 阅读 · 0 评论 -
第4章 分类的线性模型（PRML读书笔记）
本章小结 本章讨论分类问题。分类的⽬标是将输⼊变量x分到K个离散的类别CkC_kCk中的某⼀类。最常见的情况是，类别互相不想交，因此每个输⼊被分到唯⼀的⼀个类别中。因此输⼊空间被划分为不同的决策区域，它的边界被称为决策边界或者决策⾯。在本章中，考虑分类的线性模型的，即决策面是输⼊向量x的线性函数，因此被定义为D维输⼊空间中的(D − 1)维超平⾯。如果数据集可以被线性决策⾯精确地分类，那么这...原创 2019-04-08 19:38:25 · 336 阅读 · 0 评论 -
3.6 固定基函数的局限性（PRML读书笔记）
困难的产⽣主要是因为我们假设了基函数在观测到任何数据之前就被固定了下来，⽽这正是1.4节讨论的维度灾难问题的⼀个表现形式。结果，基函数的数量随着输⼊空间的维度D迅速增长，通常是指数⽅式的增长（我的理解，如果基函数的数量远低于输入空间的维度D，会带来维度降低，所以基函数的数量需要随着输⼊空间的维度D增长）。 幸运的是，真实数据集有两个性质，可以帮助我们缓解这个问题。第⼀，数据向量{xn\te...原创 2019-04-10 08:25:06 · 549 阅读 · 0 评论 -
2.5.2 近邻方法（PRML读书笔记）
核⽅法进⾏概率密度估计的⼀个困难之处是控制核宽度的参数hhh对于所有的核都是固定的。在⾼数据密度的区域，⼤的h值可能会造成过度平滑，并且破坏了本应从数据中提取出的结构。但是，减⼩hhh的值可能导致数据空间中低密度区域估计的噪声。因此，hhh的最优选择可能依赖于数据空间的位置。这个问题可以通过概率密度的近邻⽅法解决。 回到公式（2.246），与之前固定VVV然后从数据中确定KKK的值不同，我...原创 2019-04-13 18:15:48 · 271 阅读 · 0 评论 -
2.5.1 核密度估计（PRML读书笔记）
本章小结 让我们假设观测服从DDD维空间的某个未知的概率密度分布p(x)p(x)p(x)。把这个DDD维空间选择成欧⼏⾥得空间，考虑包含xxx的某个⼩区域RRR，则这个区域的概率质量为假设收集了服从p(x)p(x)p(x)分布的NNN次观测，很容易得出位于区域RRR内部的数据点总数KKK满足如果假定区域RRR⾜够⼩，使得在这个区域内的概率密度p(x)p(x)p(x)⼤致为常数，那么有...原创 2019-04-13 16:39:23 · 1385 阅读 · 0 评论 -
2.5 非参数化方法（PRML读书笔记）
前面介绍的概率分布都有具体的函数形式，并且由少量的参数控制。这些参数的值可以由数据集确定，这被称为概率密度建模的参数化⽅法。参数化⽅法的⼀个重要局限性是选择的概率密度可能对于⽣成数据来说，是⼀个很差的模型。例如，如果⽣成数据的过程是多峰的，那么这种分布不可能被⾼斯分布描述，因为它是单峰的。 ⾸先考虑密度估计的直⽅图⽅法。我们集中于⼀元连续变量xxx的情形，标准的直⽅图简单地把xxx划分成宽...原创 2019-04-13 12:27:44 · 854 阅读 · 1 评论