![](https://img-blog.csdnimg.cn/20201107115005754.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
读书笔记 PRML
读书笔记
Trade Off
Homepage: xuyangguo.github.io
读书、数学、代码爱好者;PRML、ESLII读书笔记;关注CV、ML、DL、DIP、传统算法等领域
展开
-
PRML第十四章读书笔记——Combining Models 贝叶斯模型平均、委员会bagging、提升方法/AdaBoost、决策树、条件混合模型/混合线性回归/混合逻辑回归/【层次】混合专家模型
(终于读到最后一章了,吼吼!激动呀。我总感觉combining models已经有点频率派方法的味道了。所以接下来要读ESL?)目录14.1 Bayesian Model Averaging14.2 Committees14.3 BoostingP659 最小化指数误差P661 boosting的误差函数14.4 Tree-based Models14.5 Conditional Mixture Models委员会committe:训LLL个不同的模型,然后取平均做预测提升方法boosting:co原创 2020-11-07 11:44:36 · 914 阅读 · 0 评论 -
PRML第十三章读书笔记——Sequential Data 状态空间模型、自回归模型/从左到右HMM/前向后向BW算法/和积算法/缩放因子/维特比算法、线性动态系统/卡尔曼滤波-平滑/粒子滤波
(这一章就是讲序列)目录13.1 Markov Models13.2 Hidden Markov ModelsP613 left-to-right HMMP615 HMM的最大似然P618 前向-后向算法P625 HMM中的和积算法P627 缩放因子P629 维特比算法 the viterbi algorithmP631 HMM的各种扩展13.3 Linear Dynamical Systems区分静态和非静态序列分布:静态情况中,分布保持一致;非静态情况中,分不会随时间变换。这里只关注静态情况马尔原创 2020-11-05 20:22:24 · 702 阅读 · 0 评论 -
PRML第十二章读书笔记——Continuous Latent Variables 高维PCA、概率PCA与EM/贝叶斯PCA/因子分析、核PCA、独立成分分析/独立因子分析/自关联网络/非线性流形
目录12.1 Principal Component AnalysisP565 应用P569 高维数据PCA12.2 Probabilistic PCAP574 最大似然PCAP577 概率PCA的EM算法P580 贝叶斯PCAP583 因子分析12.3 Kernel PCA12.4 Nonlinear Latent Variable ModelsP591 独立成分分析 independent component analysisP592 自关联网络 autoassociative neural netwo原创 2020-11-01 23:47:54 · 1212 阅读 · 0 评论 -
PRML第十一章读书笔记——Sampling Methods 拒绝采样/重要性采样/采样重要性重采样/数据增广IP算法、Metropolis算法/MH算法/吉布斯、切片采样、混合MC、估计配分函数
(终于把第十章读完了,这一章应该相对轻松。但这两天状态有待调整,所以没咋认真读)目录11.1 Basic Sampling AlgorithmsP526 标准概率分布P528 拒绝采样P530 可调节的拒绝采样Adaptive rejection samplingP532 重要性采样P534 采样-重要性-重采样 Sampling-importance-resamplingP536 采样和EM算法P537 数据增广算法 data augmentation algorithm11.2 Markov Chai原创 2020-10-27 19:49:39 · 955 阅读 · 0 评论 -
PRML第十章读书笔记——Approximate Inference 泛函导数、平均场理论/α族散度/模型比较、变分高斯混合、变分线性回归、变分指数族/变分信息传播、局部变分、变分逻辑回归、期望传播
(长、难啃且重要的一章)目录10.1 Variational Inference(也叫variational Bayes)P464 分解概率分布factorized distrubutions概率图里推p(Z∣X)p(\bm Z|\bm X)p(Z∣X)是一个重要的问题。但如果该分布复杂,则很难求,也很难在该后验分布下其他内容的期望,总之精确计算复杂的一批。所以需要近似技术。两种方法,(1)下一章介绍的随机近似stochastic approximations;(2)本章的确定近似determinist原创 2020-10-20 15:00:02 · 902 阅读 · 0 评论 -
PRML第九章读书笔记——Mixture Models and EM K均值/K中心点、高斯混合奇异性、EM观点下的高斯混合/K-means/混合伯努利分布/贝叶斯线性回归、推广EM算法
目录K-means ClusteringP429 K中心点算法K-medoids隐变量的引入使得复对于观测变量的复杂概率表示由简单分量组成K-means Clustering经典聚类算法了,目标函数为失真度量distortion measure其中rnk∈{0,1}r_{nk} \in \{0, 1\}rnk∈{0,1},表示是否nnn属于类kkk最小化这个东西,导致K-means一定收敛K-means的初始化很重要。实践中一种好的初始化方法为随机选K个点的集合。K-means算法也用于原创 2020-10-12 15:42:03 · 861 阅读 · 0 评论 -
PRML第八章读书笔记——Graphical Models 生成式模型/超先验/层次贝叶斯模型、d-分离/朴素贝叶斯、有向分解/马尔可夫毯、D图I图完美图、马尔科夫链/因子图/和积算法/最大和算法
(终于读到概率图了,从这一章开始应该算是PRML的精华内容了。过于基础的东西就不写了,主要写自己不会的)目录8.1 Bayesian NetworksP365 祖先采样法ancestral samplingP365 生成式模型generative modelsP366 离散变量P370 线性高斯模型P372 超先验hyperprior与层次贝叶斯模型hierarchical Bayesian model8.2 Conditional IndependenceP378 d-分离 d-seperationP3原创 2020-10-07 22:17:09 · 649 阅读 · 0 评论 -
PRML第七章读书笔记——Sparse Kernel Machines 稀疏核机、SVM、ν-SVM(SVR)、和逻辑回归区别、多类SVM、SVR、(分类/回归)相关向量机RVM、稀疏性分析
(不手打公式了,太费时间,也没啥收益。直接截图……)目录P326 什么是稀疏核机7.1 Maximum Margin ClassifiersP328 SVMP331 重叠类分布(线性不可分)P334 ν\nuν-SVMP336 SVM和逻辑回归的区别P338 SVRP343 ν\nuν-SVRP344 计算学习理论7.2 Relevance Vector MachinesP345 回归RVMP350 稀疏性分析P353 分类RVMP326 什么是稀疏核机第六章的核方法必须要对所有的训练数据点进行求值。原创 2020-10-05 21:05:34 · 1011 阅读 · 0 评论 -
PRML第六章读书笔记——Kernel Methods 静止核、对偶表示、构造核、高斯核函数、Fisher核、径向基函数网络/Nadaraya-Watson模型、高斯过程回归/分类/自动相关确定
目录静止核stationary kernel径向基函数radial basis function(同质核homogeneous kernel)6.1 Dual Representations许多线性参数模型可以被转化为一个等价的“对偶表示”dual representation,其中,预测是基于训练数据点处的核函数线性组合对于非线性特征空间映射ϕ(x)\phi(\textbf x)ϕ(x),核函数为k(x,x′)=ϕ(x)Tϕ(x′)k(\textbf x,\textbf x')=\phi(\te原创 2020-10-04 15:59:43 · 1304 阅读 · 0 评论 -
PRML第五章读书笔记——Neural Networks 二次下降、Hessian矩阵的近似求解和精确求解、正切传播/Tikhonov正则化/软权值共享、混合密度网络、贝叶斯神经网络
目录原创 2020-10-02 21:38:52 · 779 阅读 · 7 评论 -
PRML第四章读书笔记——Linear Models For Classification 线性判别分析/感知机、IRLS、probit回归、标准链接函数、拉普拉斯近似、BIC准则、贝叶斯逻辑回归
(真的非常期待能读到第8、9章那里,看看频率派的作者是如何讲概率图的)目录P180 回归基础4.1 Discriminant FunctionsP181 两类情况P182 多类情况P184 最小二乘P187 Fisher线性判别分析P190 Fisher线性判别分析是一种特殊的最小二乘P191 多类Fisher线性判别分析P193 感知机算法4.2 Probabilistic Generative ModelsP198 连续型输入P200 MLE求解P202 离散型输入P203 指数族分布P180 回归原创 2020-09-29 21:32:04 · 480 阅读 · 0 评论 -
PRML第三章读书笔记——Linear Models For Regression 几何解释、多重共线性、贝叶斯线性回归、贝叶斯模型比较/模型证据/边缘似然、线性回归证据近似/参数有效数量
第3章 Linear Models For Regression3.1 Linear Basis Function ModelsP143 线性回归的几何解释P143 多重共线性3.1 Linear Basis Function ModelsP143 线性回归的几何解释记训练集标注为t=(t1,...,tN)T\bf t = (t_1, ..., t_N)^Tt=(t1,...,tN)T,...原创 2020-09-26 21:33:00 · 577 阅读 · 0 评论 -
PRML第二章读书笔记——Probability Distribution 两变量条件期望/方差、R-M序列算法、高斯分布参数辨识/后验推断/相关分布、指数族分布、无参数先验、无参数估计、kNN
第2章2 Probability Distributions2.2 Multinomial VariablesP74 两变量的条件期望与条件方差2.3 The Gaussian DistributionP86 高斯分布的参数辨识P94 序列估计Robbins-Monro 算法P97 高斯分布的后验推断2 Probability Distributions2.2 Multinomial Vari...原创 2020-01-18 00:24:50 · 712 阅读 · 2 评论 -
PRML第一章读书笔记——Introduction 拟合、条件概率、概率变换、高维度、决策理论/闵科夫斯基损失函数、信息论/微分熵
又好久没写博客,没做出什么有成果的东西。加之最近遇到了一些感情问题,情绪低迷。遂放飞自我,决定新开一坑,开始啃这本书了(直接读的原版的,看不懂的就去翻一下手边那本中文版,说起来这本中文版的还是我的一个学霸同学WBL送我的,要好好珍惜)。希望自己能读下来吧,就算读不下来,也至少要读某个章再停下,不要章中间断掉。不对原书内容做总结了,只简要记录下自己读过后刷新的知识点,这些多是原先不会的,含糊的。...原创 2019-09-02 00:07:07 · 401 阅读 · 0 评论