机器学习
文章平均质量分 82
机器学习的方方面面,不包含深度学习
Trade Off
Homepage: xuyangguo.github.io
读书、数学、代码爱好者;PRML、ESLII读书笔记;关注CV、ML、DL、DIP、传统算法等领域
展开
-
书评&学习笔记《自动驾驶汽车环境感知》
对自动驾驶感知有一个框架式的介绍。优点:- 专门介绍感知的书很少,这本书填补了这一块空白。做到了对感知有一个全方位的介绍。追求更详细的感觉可以直接看论文。- 而且编排结构合理。- 成书稍晚,选材也新一些。......原创 2022-08-31 00:55:04 · 1922 阅读 · 1 评论 -
书单:算法工程师的入门书籍推荐
目录0. 写在前面1. 工程实用类2. 进一步的机器学习算法类3. 更细方向计算机视觉推荐系统 / 自然语言处理4. 计算机素养5. 数学知识补充0. 写在前面本文适合于想要自学机器学习、深度学习、计算机视觉等相关基础知识的人阅读。(这一年半来,我用了大部分时间读书,这里也算给自己写个总结)关于学习,方法有两种:一种是实践先行,按需补充理论,这种方法有利于短期上手。另一种是理论先行,掌握一个牢固的理论基础框架后,再把重心移到实践。本文推荐的书籍更适合于后者的学习方式。先声明,读书不原创 2021-03-09 22:45:25 · 2187 阅读 · 4 评论 -
ESL第十八章 高维问题 对角LDA/最近收缩重心、RDA/对偶优化/L2带核、函数型数据/Fused Lasso/字符串核/距离矩阵、有监督PCA/生存分析/偏最小二乘/预处理、多重检验/FDR
(最后一章了,加油!)目录18.1 当ppp远大于NNN18.2 对角线性判别分析Diagonal Linear Discriminant Analysis和最近收缩重心Nearest Shrunken Centroids18.3 二次正则Quadratic Regularization的线性分类器18.3.1 正则化判别分析Regularized Discriminant Analysis18.3.2 二次正则的逻辑回归18.3.3 支持向量分类器18.3.4 特征选择18.3.5 当p≫Np\gg N原创 2021-01-12 14:46:51 · 698 阅读 · 0 评论 -
ESL第十七章 无向图模型 学习/推断/成对马尔可夫独立/全局马尔可夫性、协方差图/高斯图/修改回归算法/图结构估计/图lasso、【受限】玻尔兹曼机/泊松对数线性建模/迭代比例过滤/对比散度
目录17.1 导言17.2 马尔可夫图及其性质17.3 连续变量的无向图模型17.1 导言P625 graphical lasso procedureP626 图模型的主要挑战是图结构选择、根据数据来估计边的参数,和从联合分布中计算边缘顶点的概率和期望.后两个任务在计算机科学中有时被称作学习learning和推断inference17.2 马尔可夫图及其性质P628 成对马尔可夫独立pairwise Markov independencies全局马尔可夫性global Markov pr原创 2021-01-08 16:10:01 · 839 阅读 · 1 评论 -
ESL第十六章 集成学习 汉明码、前向分段线性回归/前向逐步回归/Bet on Sparsity原则/噪信比/正则化路径/标准化L1间隔、学习集成/数值积分/集成生成/重要性采样/规则集成
目录16.1 导言16.2 提升和正则路径16.2.1 带惩罚的回归Penalized Regression16.1 导言P605 集成学习ensemble learning的思想是通过结合一系列简单基础模型的优点来建立一个预测模型.包括:bagging、boosting、stacking、非参回归的贝叶斯方法。事实上,可以将任何字典方法dictionary method看成集成学习,其中基函数充当弱学习器weak learners,比如回归样条(这句是指把特征变换这个操作当作弱学习器,然后带权重地集原创 2021-01-06 15:55:30 · 2538 阅读 · 0 评论 -
ESL第十五章 随机森林 委员会、McNemar检验/Wilcoxon检验、集外样本/相对重要性/排列重要性/邻近图、去相关性/条件方差/偏差/自适应最近邻
目录15.1 导言15.2 随机森林的定义15.3 随机森林的细节15.3.1 集外样本Out of Bag Samples15.3.2 变量重要性15.3.3 邻近图Proximity Plots15.1 导言P587 委员会committee,只关注票数,平均并不重要。用于分类P587 随机森林random forest是对bagging的修改,建立一个去相关性de-correlated树的集合。在许多问题上,与boosting表现相似,而且训练和调参更简单15.2 随机森林的定义P58原创 2021-01-04 15:01:07 · 772 阅读 · 2 评论 -
ESL第十四章 无监督学习 广义关联规则、向量量化/K中心点/Gap/谱系图、SOM、Pro问题/主曲线/谱聚类/【核/稀疏】主成分、非负矩阵分解/原型分析、独立成分分析/探索投影追踪、局部多维缩放
(ESL中最长的一章,也是非常重要的一块内容)目录14.1 导言14.2 关联规则14.1 导言P486 无监督学习中,直接推断P(X)P(X)P(X)的性质。XXX的维度有时比监督学习中高很多,我们关心的性质经常比简单的位置估计μ(x)\mu (x)μ(x)复杂得多.不过因素在某种程度上被缓解,原因在于我们不需要在其它变量的值改变的情况下推断P(X)P(X)P(X)的性质怎么改变.(这里应该是说YYY对XXX分布的影响P486 降维:主成分、多维缩放、自组织映射、主曲线等尝试识别具有高数据密度的原创 2021-01-03 14:09:29 · 806 阅读 · 0 评论 -
ESL第十三章 原型方法和最近邻 免模型方法、原型方法/k均值聚类/学习向量量化/高斯混合、kNN/不变流形/不变度量/正切距离/形状平均、自适应最近邻方法/判别自适应最邻近/全局降维、编辑/压缩
目录13.1 导言13.2 原型方法13.2.1 K均值聚类13.2.2 学习向量量化Learning Vector Quantization, LVQ13.2.3 高斯混合13.3 k近邻分类器13.3.1 例子:比较研究13.3.2 例子:k近邻和图像场景分类13.3.3 不变度量invariant metrics和正切距离tangent distance13.4 自适应最近邻分类器13.4.1 例子13.4.2 最近邻的全局降维13.5 计算考虑13.1 导言P459 本章介绍免模型方法mode原创 2020-12-25 19:58:52 · 648 阅读 · 0 评论 -
ESL第十二章 SVM和灵活判别方法 核函数/平方合页损失/Huber损失/RKHS/加性光滑样条/路径算法/结构风险最小化、最优得分/灵活判别分析/典型向量/典型相关、惩罚判别分析、混合判别分析
目录12.1 导言12.2 支持向量分类器12.2.1 计算支持向量分类器12.2.2 混合例子12.3 支持向量机和核12.3.1 用于分类的SVM12.3.2 SVM作为惩罚方法12.3.3 函数估计和再生核12.3.4 SVM和维度灾难12.1 导言P417 两类方法:SVM的非线性边界;LDA扩展成柔性判别分析flexible discriminant analysis。此外还有惩罚判别分析penalized discriminant analysis,用于处理含大量相关特征的信号和图像数据分原创 2020-12-23 19:53:39 · 1365 阅读 · 0 评论 -
ESL第十一章 神经网络 投影追踪回归/岭函数/通用近似、径向基函数网络、随机近似/共轭梯度/变量度量、权重消去、信噪比计算、贝叶斯神经网络/贝叶斯推断/混合蒙特卡罗洛/哈密顿动力学/自动相关确定
目录11.1 导言11.2 投影追踪回归Projection Pursuit Regression11.3 神经网络11.4 拟合神经网络11.5 训练神经网络中的一些问题11.5.1 初始值11.5.2 权重衰减11.5.3 输入的缩放11.5.4 隐层单元数和层数11.5.5 多极小值11.6 例子:模拟数据11.7 例子:邮编数字11.8 讨论11.9 贝叶斯神经网络和NIPS2003挑战11.9.1 贝叶斯、提升和bagging11.1 导言P389 投影追踪模型projection purs原创 2020-12-20 16:17:23 · 803 阅读 · 2 评论 -
ESL第十章 提升和加性树 AdaBoost、向前分段【加性模型】、指数损失合理性、边缘/鲁棒性/平方合页损失/M回归、长尾偏度/现成方法、GBDT、方差分析、随机梯度提升、相对重要性/偏相依图
目录10.1 Boosting方法10.2 Boosting拟合加性模型10.3 前向逐渐加性模型10.4 指数损失和AdaBoost10.5 为什么是指数损失10.6 损失函数和鲁棒性10.7 数据挖掘的现成(Off-the-Shelf)过程10.810.1 Boosting方法P337 Boosting和Bagging的联系是表面上的,boosting在根本上存在不同P339 AdaBoost.M1,也称为Discrete AdaBoost,如果基分类器返回实值预测,如映射到[-1, 1]的的概原创 2020-12-18 16:46:18 · 819 阅读 · 0 评论 -
ESL第九章 加性模型、树和相关方法 backfitting/加性逻辑回归、成本复杂度剪枝/基尼系数/各种问题扩展/ROC、PRIM、MARS/反射对/R方、层次混合专家、缺失数据/【完全】随机缺失
目录9.1 广义加性模型9.1.1 拟合可加模型9.1.2 例子:加性逻辑回归9.1.3 总结9.2 基于树的方法9.2.1 背景9.2.2 回归树9.2.3 分类树9.2.4 其他问题9.1 广义加性模型P296 和第五章基的扩张不同的是,这里采用散点图光滑器scatterplot smoother(三次光滑样条、核光滑器等)进行,并提供同时估计所以ppp个函数的方法P296 链接函数link function,通过链接函数让条件均值和可加函数相关联。书上列举了一些链接函数P297 广义线性模型原创 2020-12-13 17:02:26 · 1905 阅读 · 3 评论 -
ESL第八章 模型推断和平均 【参数】自助法/得分函数/信息矩阵/观测信息/费舍尔信息量、贝叶斯方法/无信息先验、高斯混合/GEM/MM算法、吉布斯、Bagging、委员会、Stacking、随机搜索
目录8.2 自助法核最大似然方法8.2.1 平滑例子8.2 自助法核最大似然方法8.2.1 平滑例子P264 非参自助法nonparametric bootstrap,这个方法与模型无关,使用原始数据来得到新数据集,而不是一个特定含参数模型。参数自助法parametric bootstrap参考文献:[1] ESL CN...原创 2020-12-10 16:22:47 · 1246 阅读 · 0 评论 -
ESL第七章 模型评估及选择 【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录7.2 偏差、方差和模型复杂度7.3 偏差-方差分解7.3.1 方差-偏差权衡7.2 偏差、方差和模型复杂度P220 测试误差test error就是泛化误差generalization error(也就是期望风险);对其的训练集求期望,得到期望预测误差expected prediction error或称期望测试误差expected test errorP221 −2×log-likelihood-2\times \text{log-likelihood}−2×log-likelihood有时原创 2020-12-07 15:05:35 · 1961 阅读 · 0 评论 -
ESL第六章 核光滑方法 度量窗口/近邻窗口、局部线性【或多项式】回归、高维局部回归、局部逻辑回归、核密度估计/核密度分类/朴素贝叶斯、径向基函数【网络】/重标准化/N-W核回归估计、高斯混合【分类】
目录6.0 导言6.1 一维核光滑器6.1.1 局部线性回归6.1.2 局部多项式回归6.2 选择核宽度6.3 Rp\mathbb R^pRp中的局部回归6.0 导言P192 本章的方法都是memory-based,很少或不需要训练。模型就是整个训练集(PRML中高斯过程似乎也是这样)P191 本章中的“核”大多作为局部化工具,其技巧不要与其他“核方法”相混淆6.1 一维核光滑器P192 Nearest-Neighbor核不连续,很容易的改进是Epanechnikov (quadratic)原创 2020-12-04 11:02:32 · 983 阅读 · 0 评论 -
ESL第五章 基扩张和正则化 【自然】三次样条/似然比检验/自然正则化、自由度/光滑矩阵/收缩光滑/局部拟合/等价核、非参逻辑回归、多维张量积/加性样条、RKHS/径向基、小波光滑/自适应滤波、B样条
目录5.1 导言5.2 分段多项式和样条5.2.1 自然三次样条Natural Cubic Splines5.2.2 例子:南非心脏病5.2.3 例子:音素识别附录 样条计算B样条光滑样条计算5.1 导言P140 高阶项其实是泰勒展开的高次项P140 三种方法控制模型复杂度:(这一块感觉和2.8节有关联)限制方法,限制函数类别,例如加性模型选择方法,选择基的字典中对拟合显著的基. 像 CART,MARS 和 boosting 这些逐步贪婪的方式也划为这一类.正则化方法,例如ridge re原创 2020-12-02 11:24:39 · 1969 阅读 · 0 评论 -
ESL第四章 分类的线性方法 指示矩阵线性回归/LDA和线性回归区别联系/QDA/RDA/低秩LDA与PCA&线性回归联系/IRLS/Wald和Rao score检验/L1逻辑回归、感知机/SVM
目录4.2 指示矩阵(Indicator Matrix)线性回归4.2 指示矩阵(Indicator Matrix)线性回归P104 用回归做K分类,Y∈RN×K\bm Y \in \mathbb R^{N\times K}Y∈RN×K,其中每一行只有一个位置为1. 可以证明如果有偏置项,对任意输入xxx,这KKK个值求和为1,不过可能会出现负数...原创 2020-11-27 18:15:59 · 1446 阅读 · 0 评论 -
ESL第三章 回归的线性方法 系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
目录3.2 线性回归模型的最小二乘法3.2 线性回归模型的最小二乘法P47 参数服从高斯分布,残差之和/噪声方差服从卡方分布P48 关于参数的t分布假设检验原创 2020-11-25 20:27:57 · 1311 阅读 · 0 评论 -
ESL第二章Overview of Supervised Learning knn有效参数、统计决策理论/贝叶斯分类器/贝叶斯阶、维度灾难、可加误差模型、三次光滑样条/核方法/基函数/字典方法
(开始读ESL,写点笔记,不会像PRML那样抄书,只列不熟悉的内容,尤其是偏频率派的。具体的内容翻书)前言和第一章写了一些思想性的和导论性的东西,可以翻一翻目录2.3 Two Simple Approaches to Prediction: Least Squares and Nearest Neighbors2.3.3 Nearest-Neighbor Methods2.3 Two Simple Approaches to Prediction: Least Squares and Nearest原创 2020-11-10 17:41:52 · 425 阅读 · 0 评论 -
PRML第十四章读书笔记——Combining Models 贝叶斯模型平均、委员会bagging、提升方法/AdaBoost、决策树、条件混合模型/混合线性回归/混合逻辑回归/【层次】混合专家模型
(终于读到最后一章了,吼吼!激动呀。我总感觉combining models已经有点频率派方法的味道了。所以接下来要读ESL?)目录14.1 Bayesian Model Averaging14.2 Committees14.3 BoostingP659 最小化指数误差P661 boosting的误差函数14.4 Tree-based Models14.5 Conditional Mixture Models委员会committe:训LLL个不同的模型,然后取平均做预测提升方法boosting:co原创 2020-11-07 11:44:36 · 931 阅读 · 0 评论 -
PRML第十三章读书笔记——Sequential Data 状态空间模型、自回归模型/从左到右HMM/前向后向BW算法/和积算法/缩放因子/维特比算法、线性动态系统/卡尔曼滤波-平滑/粒子滤波
(这一章就是讲序列)目录13.1 Markov Models13.2 Hidden Markov ModelsP613 left-to-right HMMP615 HMM的最大似然P618 前向-后向算法P625 HMM中的和积算法P627 缩放因子P629 维特比算法 the viterbi algorithmP631 HMM的各种扩展13.3 Linear Dynamical Systems区分静态和非静态序列分布:静态情况中,分布保持一致;非静态情况中,分不会随时间变换。这里只关注静态情况马尔原创 2020-11-05 20:22:24 · 707 阅读 · 0 评论 -
PRML第十二章读书笔记——Continuous Latent Variables 高维PCA、概率PCA与EM/贝叶斯PCA/因子分析、核PCA、独立成分分析/独立因子分析/自关联网络/非线性流形
目录12.1 Principal Component AnalysisP565 应用P569 高维数据PCA12.2 Probabilistic PCAP574 最大似然PCAP577 概率PCA的EM算法P580 贝叶斯PCAP583 因子分析12.3 Kernel PCA12.4 Nonlinear Latent Variable ModelsP591 独立成分分析 independent component analysisP592 自关联网络 autoassociative neural netwo原创 2020-11-01 23:47:54 · 1334 阅读 · 0 评论 -
PRML第十一章读书笔记——Sampling Methods 拒绝采样/重要性采样/采样重要性重采样/数据增广IP算法、Metropolis算法/MH算法/吉布斯、切片采样、混合MC、估计配分函数
(终于把第十章读完了,这一章应该相对轻松。但这两天状态有待调整,所以没咋认真读)目录11.1 Basic Sampling AlgorithmsP526 标准概率分布P528 拒绝采样P530 可调节的拒绝采样Adaptive rejection samplingP532 重要性采样P534 采样-重要性-重采样 Sampling-importance-resamplingP536 采样和EM算法P537 数据增广算法 data augmentation algorithm11.2 Markov Chai原创 2020-10-27 19:49:39 · 967 阅读 · 0 评论 -
PRML第十章读书笔记——Approximate Inference 泛函导数、平均场理论/α族散度/模型比较、变分高斯混合、变分线性回归、变分指数族/变分信息传播、局部变分、变分逻辑回归、期望传播
(长、难啃且重要的一章)目录10.1 Variational Inference(也叫variational Bayes)P464 分解概率分布factorized distrubutions概率图里推p(Z∣X)p(\bm Z|\bm X)p(Z∣X)是一个重要的问题。但如果该分布复杂,则很难求,也很难在该后验分布下其他内容的期望,总之精确计算复杂的一批。所以需要近似技术。两种方法,(1)下一章介绍的随机近似stochastic approximations;(2)本章的确定近似determinist原创 2020-10-20 15:00:02 · 1245 阅读 · 0 评论 -
PRML第九章读书笔记——Mixture Models and EM K均值/K中心点、高斯混合奇异性、EM观点下的高斯混合/K-means/混合伯努利分布/贝叶斯线性回归、推广EM算法
目录K-means ClusteringP429 K中心点算法K-medoids隐变量的引入使得复对于观测变量的复杂概率表示由简单分量组成K-means Clustering经典聚类算法了,目标函数为失真度量distortion measure其中rnk∈{0,1}r_{nk} \in \{0, 1\}rnk∈{0,1},表示是否nnn属于类kkk最小化这个东西,导致K-means一定收敛K-means的初始化很重要。实践中一种好的初始化方法为随机选K个点的集合。K-means算法也用于原创 2020-10-12 15:42:03 · 1022 阅读 · 0 评论 -
PRML第八章读书笔记——Graphical Models 生成式模型/超先验/层次贝叶斯模型、d-分离/朴素贝叶斯、有向分解/马尔可夫毯、D图I图完美图、马尔科夫链/因子图/和积算法/最大和算法
(终于读到概率图了,从这一章开始应该算是PRML的精华内容了。过于基础的东西就不写了,主要写自己不会的)目录8.1 Bayesian NetworksP365 祖先采样法ancestral samplingP365 生成式模型generative modelsP366 离散变量P370 线性高斯模型P372 超先验hyperprior与层次贝叶斯模型hierarchical Bayesian model8.2 Conditional IndependenceP378 d-分离 d-seperationP3原创 2020-10-07 22:17:09 · 930 阅读 · 0 评论 -
PRML第七章读书笔记——Sparse Kernel Machines 稀疏核机、SVM、ν-SVM(SVR)、和逻辑回归区别、多类SVM、SVR、(分类/回归)相关向量机RVM、稀疏性分析
(不手打公式了,太费时间,也没啥收益。直接截图……)目录P326 什么是稀疏核机7.1 Maximum Margin ClassifiersP328 SVMP331 重叠类分布(线性不可分)P334 ν\nuν-SVMP336 SVM和逻辑回归的区别P338 SVRP343 ν\nuν-SVRP344 计算学习理论7.2 Relevance Vector MachinesP345 回归RVMP350 稀疏性分析P353 分类RVMP326 什么是稀疏核机第六章的核方法必须要对所有的训练数据点进行求值。原创 2020-10-05 21:05:34 · 1168 阅读 · 0 评论 -
PRML第五章读书笔记——Neural Networks 二次下降、Hessian矩阵的近似求解和精确求解、正切传播/Tikhonov正则化/软权值共享、混合密度网络、贝叶斯神经网络
目录原创 2020-10-02 21:38:52 · 1144 阅读 · 7 评论 -
PRML第四章读书笔记——Linear Models For Classification 线性判别分析/感知机、IRLS、probit回归、标准链接函数、拉普拉斯近似、BIC准则、贝叶斯逻辑回归
(真的非常期待能读到第8、9章那里,看看频率派的作者是如何讲概率图的)目录P180 回归基础4.1 Discriminant FunctionsP181 两类情况P182 多类情况P184 最小二乘P187 Fisher线性判别分析P190 Fisher线性判别分析是一种特殊的最小二乘P191 多类Fisher线性判别分析P193 感知机算法4.2 Probabilistic Generative ModelsP198 连续型输入P200 MLE求解P202 离散型输入P203 指数族分布P180 回归原创 2020-09-29 21:32:04 · 489 阅读 · 0 评论 -
PRML第三章读书笔记——Linear Models For Regression 几何解释、多重共线性、贝叶斯线性回归、贝叶斯模型比较/模型证据/边缘似然、线性回归证据近似/参数有效数量
第3章 Linear Models For Regression3.1 Linear Basis Function ModelsP143 线性回归的几何解释P143 多重共线性3.1 Linear Basis Function ModelsP143 线性回归的几何解释记训练集标注为t=(t1,...,tN)T\bf t = (t_1, ..., t_N)^Tt=(t1,...,tN)T,...原创 2020-09-26 21:33:00 · 588 阅读 · 0 评论 -
从高斯分布,到三大分布(卡方分布、t分布、F分布),到t检验
今天又把西瓜书的2.4节比较检验读了一下,读到t检验时发现以前很多理解不到位的地方。这里从最基础的高斯分布开始,把内容串起来,数学推导大多略去,可以找有关教材和百科。目录高斯分布Γ\GammaΓ(Gamma)函数B(Beta)函数卡方分布(学生)t分布记XXX是随机变量高斯分布两个高斯分布相加仍然是高斯分布高斯分布“再生性”:如果一个高斯分布,表示成两个独立随机变量之和,则这两个独立随机变量必服从高斯分布Γ\GammaΓ(Gamma)函数Γ(x)=∫0∞e−ttx−1dt(x>0)原创 2020-09-15 16:42:10 · 3666 阅读 · 0 评论 -
频率学派 vs 贝叶斯学派
写一点老生常谈的东西:)原创 2020-08-14 21:06:09 · 273 阅读 · 0 评论 -
总结机器学习中的线性代数和矩阵论基础
目录线性变换线性空间Ax=b的解空间不构成线性子空间矩阵[向量]空间子空间的加和交4个基本子空间A=CR分解,行秩等于列秩几个性质子空间投影最小二乘问题分析角度看最小二乘问题应用:线性回归(摘自PRML P143)几何解释多重共线性缺陷行列式和逆最基本的性质行列式表示矩阵组成的体积行列式算法逆矩阵克拉默法则正交矩阵旋转矩阵与正交变换反射矩阵A=QR与Gram-schmitt正交化应用:信号处理中的变换特征值与特征向量特征值分解实对称矩阵的特征值分解谱定理Spectral Theorem主轴定理实对称矩阵的谱原创 2020-06-20 21:03:32 · 2808 阅读 · 0 评论 -
马尔科夫随机场与条件随机场——CVMLI Prince读书随笔第12章
目录马尔科夫随机场(MRF)条件随机场(CRF)区别记www为隐变量(label),xxx为观测变量(feature)。马尔科夫随机场(MRF)建模P(w,x)P(w,x)P(w,x),例如同时建模P(w)P(w)P(w)和P(x∣w)P(x|w)P(x∣w),其中P(w)=1Z∏j=1Jϕj(wCj)P(w)=\frac{1}{Z}\prod_{j=1}^{J} \phi_j (w_...原创 2020-02-22 17:01:30 · 168 阅读 · 0 评论 -
置信传播(Belief Propagation)与链式有向图模型前向后向算法——CVMLI Prince读书随笔第11章
目录前向后向算法置信传播链式有向图前向过程反向过程计算边缘树模型无向图这本书把置信传播算法讲的非常清楚。所以这里mark一下。以下阅读请先知道链式有向图前后向算法的原理。前向后向算法记链式有向图隐变量为w1....Nw_{1.... N}w1....N,已知的观测值为x1...Nx_{1...N}x1...N.其中,前向函数fn(wn)=P(x1...n,wn)f_n(w_n)=P(x...原创 2020-02-19 16:15:34 · 1302 阅读 · 0 评论 -
吉布斯采样,马尔科夫链蒙特卡洛方法MCMC——CVMLI Prince读书随笔第10章
目录问题方法吉布斯采样后记以前对吉布斯采样一直很迷,今天把它弄清楚!问题采样即从待推断的环境中获取样本。对于有向图模型,可以通过原始采样法(ancestral sampling),即按照拓扑顺序采样。这样得到的每一维度都是有效的。但是对于无向图模型,没法判断先采哪个。如果按照原始采样法,采哪个维度都有问题,因为其对应的不独立的维度并不知晓。方法一种可行的方法是马尔科夫链蒙特卡洛(MC...原创 2020-02-15 18:35:40 · 859 阅读 · 0 评论 -
对偶回归(Dual Regression)——CVMLI Prince读书随笔第8、9章
目录概念对偶线性回归最大似然贝叶斯解相关向量回归(Relevance vector regression)对偶逻辑回归最大似然贝叶斯对偶逻辑回归相关向量分类与核函数的关系这两天看到一个很有趣的回归模型,叫做dual regression(我觉得翻译成“对偶回归”比“二元回归”要好,书上的翻译前后不一致,网上也查不到该方法的翻译版本)概念在线性回归和逻辑回归中,都存在ϕTx\phi ^T xϕ...原创 2020-02-10 21:53:20 · 1576 阅读 · 0 评论 -
核技巧的一些知识点——CVMLI Prince读书随笔第7章
目录解释核函数判定核函数合成核函数内部参数解释各种回归/SVM当中,对输入xxx进行高维映射f(x)f(x)f(x),内积为f(xi)Tf(xj)f(x_i)^Tf(x_j)f(xi)Tf(xj)。线性回归和SVM的推断解析解表达式只与内积有关,可以不显写参数θ\thetaθ和f(x)f(x)f(x)。如果直接给出和函数表达式k(xi,xj)=f(xi)Tf(xj)k(x_i, x_j...原创 2020-02-05 00:36:22 · 365 阅读 · 0 评论 -
密度建模中的高斯混合、学生t分布与因子分析模型——比较和组合——CVMLI Prince读书随笔第7章
目录共同点区别组合共同点三者都是一组正态分布的加权和或积分。区别高斯混合:KKK个不同均值,不同方差,高斯分布加权和t分布:相同均值,不同方差,正态分布积分。鲁棒性强于高斯混合因子分析模型:不同均值,相同对角协方差,正态分布积分。是一个高斯线性模型组合混合模型+因子分析:混合因子分析(MoFA)。即因子分析的加权和形式混合模型+t分布:混合t分布(或鲁棒混合模型)t分布+...原创 2020-01-30 12:10:50 · 1270 阅读 · 0 评论 -
因子分析的边缘分布推导——CVMLI Prince读书随笔第7章
模型为P(x∣h)=N(x∣μ+Φh,Σ)P(h)=N(h∣0,I)\begin{aligned}P( x| h) &= \mathcal N( x| \mu + \Phi h, \Sigma) \\P( h) &= \mathcal N( h| 0, I)\end{aligned}P(x∣h)P(h)=N(x∣μ+Φh,Σ)=N(h∣...原创 2020-01-26 18:57:10 · 330 阅读 · 0 评论