数学
文章平均质量分 81
Trade Off
Homepage: xuyangguo.github.io
读书、数学、代码爱好者;PRML、ESLII读书笔记;关注CV、ML、DL、DIP、传统算法等领域
展开
-
书评《算法导论》
《算法导论》确实不适合初学者,尤其是不适合实践派。对于实践派,《数据结构与算法分析——C语言描述》、邓俊辉老师的《数据结构》,《算法》红皮书无疑都是很好的上手教程。我读《算法导论》,是把它当作一本数学书来读的,其中很多篇幅关注于算法设计、正确性证明、算法分析。...原创 2022-05-05 11:25:53 · 5972 阅读 · 0 评论 -
ESL第十八章 高维问题 对角LDA/最近收缩重心、RDA/对偶优化/L2带核、函数型数据/Fused Lasso/字符串核/距离矩阵、有监督PCA/生存分析/偏最小二乘/预处理、多重检验/FDR
(最后一章了,加油!)目录18.1 当ppp远大于NNN18.2 对角线性判别分析Diagonal Linear Discriminant Analysis和最近收缩重心Nearest Shrunken Centroids18.3 二次正则Quadratic Regularization的线性分类器18.3.1 正则化判别分析Regularized Discriminant Analysis18.3.2 二次正则的逻辑回归18.3.3 支持向量分类器18.3.4 特征选择18.3.5 当p≫Np\gg N原创 2021-01-12 14:46:51 · 698 阅读 · 0 评论 -
ESL第十七章 无向图模型 学习/推断/成对马尔可夫独立/全局马尔可夫性、协方差图/高斯图/修改回归算法/图结构估计/图lasso、【受限】玻尔兹曼机/泊松对数线性建模/迭代比例过滤/对比散度
目录17.1 导言17.2 马尔可夫图及其性质17.3 连续变量的无向图模型17.1 导言P625 graphical lasso procedureP626 图模型的主要挑战是图结构选择、根据数据来估计边的参数,和从联合分布中计算边缘顶点的概率和期望.后两个任务在计算机科学中有时被称作学习learning和推断inference17.2 马尔可夫图及其性质P628 成对马尔可夫独立pairwise Markov independencies全局马尔可夫性global Markov pr原创 2021-01-08 16:10:01 · 839 阅读 · 1 评论 -
ESL第十六章 集成学习 汉明码、前向分段线性回归/前向逐步回归/Bet on Sparsity原则/噪信比/正则化路径/标准化L1间隔、学习集成/数值积分/集成生成/重要性采样/规则集成
目录16.1 导言16.2 提升和正则路径16.2.1 带惩罚的回归Penalized Regression16.1 导言P605 集成学习ensemble learning的思想是通过结合一系列简单基础模型的优点来建立一个预测模型.包括:bagging、boosting、stacking、非参回归的贝叶斯方法。事实上,可以将任何字典方法dictionary method看成集成学习,其中基函数充当弱学习器weak learners,比如回归样条(这句是指把特征变换这个操作当作弱学习器,然后带权重地集原创 2021-01-06 15:55:30 · 2538 阅读 · 0 评论 -
ESL第十五章 随机森林 委员会、McNemar检验/Wilcoxon检验、集外样本/相对重要性/排列重要性/邻近图、去相关性/条件方差/偏差/自适应最近邻
目录15.1 导言15.2 随机森林的定义15.3 随机森林的细节15.3.1 集外样本Out of Bag Samples15.3.2 变量重要性15.3.3 邻近图Proximity Plots15.1 导言P587 委员会committee,只关注票数,平均并不重要。用于分类P587 随机森林random forest是对bagging的修改,建立一个去相关性de-correlated树的集合。在许多问题上,与boosting表现相似,而且训练和调参更简单15.2 随机森林的定义P58原创 2021-01-04 15:01:07 · 772 阅读 · 2 评论 -
ESL第十四章 无监督学习 广义关联规则、向量量化/K中心点/Gap/谱系图、SOM、Pro问题/主曲线/谱聚类/【核/稀疏】主成分、非负矩阵分解/原型分析、独立成分分析/探索投影追踪、局部多维缩放
(ESL中最长的一章,也是非常重要的一块内容)目录14.1 导言14.2 关联规则14.1 导言P486 无监督学习中,直接推断P(X)P(X)P(X)的性质。XXX的维度有时比监督学习中高很多,我们关心的性质经常比简单的位置估计μ(x)\mu (x)μ(x)复杂得多.不过因素在某种程度上被缓解,原因在于我们不需要在其它变量的值改变的情况下推断P(X)P(X)P(X)的性质怎么改变.(这里应该是说YYY对XXX分布的影响P486 降维:主成分、多维缩放、自组织映射、主曲线等尝试识别具有高数据密度的原创 2021-01-03 14:09:29 · 806 阅读 · 0 评论 -
ESL第十三章 原型方法和最近邻 免模型方法、原型方法/k均值聚类/学习向量量化/高斯混合、kNN/不变流形/不变度量/正切距离/形状平均、自适应最近邻方法/判别自适应最邻近/全局降维、编辑/压缩
目录13.1 导言13.2 原型方法13.2.1 K均值聚类13.2.2 学习向量量化Learning Vector Quantization, LVQ13.2.3 高斯混合13.3 k近邻分类器13.3.1 例子:比较研究13.3.2 例子:k近邻和图像场景分类13.3.3 不变度量invariant metrics和正切距离tangent distance13.4 自适应最近邻分类器13.4.1 例子13.4.2 最近邻的全局降维13.5 计算考虑13.1 导言P459 本章介绍免模型方法mode原创 2020-12-25 19:58:52 · 648 阅读 · 0 评论 -
ESL第十二章 SVM和灵活判别方法 核函数/平方合页损失/Huber损失/RKHS/加性光滑样条/路径算法/结构风险最小化、最优得分/灵活判别分析/典型向量/典型相关、惩罚判别分析、混合判别分析
目录12.1 导言12.2 支持向量分类器12.2.1 计算支持向量分类器12.2.2 混合例子12.3 支持向量机和核12.3.1 用于分类的SVM12.3.2 SVM作为惩罚方法12.3.3 函数估计和再生核12.3.4 SVM和维度灾难12.1 导言P417 两类方法:SVM的非线性边界;LDA扩展成柔性判别分析flexible discriminant analysis。此外还有惩罚判别分析penalized discriminant analysis,用于处理含大量相关特征的信号和图像数据分原创 2020-12-23 19:53:39 · 1365 阅读 · 0 评论 -
ESL第十一章 神经网络 投影追踪回归/岭函数/通用近似、径向基函数网络、随机近似/共轭梯度/变量度量、权重消去、信噪比计算、贝叶斯神经网络/贝叶斯推断/混合蒙特卡罗洛/哈密顿动力学/自动相关确定
目录11.1 导言11.2 投影追踪回归Projection Pursuit Regression11.3 神经网络11.4 拟合神经网络11.5 训练神经网络中的一些问题11.5.1 初始值11.5.2 权重衰减11.5.3 输入的缩放11.5.4 隐层单元数和层数11.5.5 多极小值11.6 例子:模拟数据11.7 例子:邮编数字11.8 讨论11.9 贝叶斯神经网络和NIPS2003挑战11.9.1 贝叶斯、提升和bagging11.1 导言P389 投影追踪模型projection purs原创 2020-12-20 16:17:23 · 803 阅读 · 2 评论 -
ESL第十章 提升和加性树 AdaBoost、向前分段【加性模型】、指数损失合理性、边缘/鲁棒性/平方合页损失/M回归、长尾偏度/现成方法、GBDT、方差分析、随机梯度提升、相对重要性/偏相依图
目录10.1 Boosting方法10.2 Boosting拟合加性模型10.3 前向逐渐加性模型10.4 指数损失和AdaBoost10.5 为什么是指数损失10.6 损失函数和鲁棒性10.7 数据挖掘的现成(Off-the-Shelf)过程10.810.1 Boosting方法P337 Boosting和Bagging的联系是表面上的,boosting在根本上存在不同P339 AdaBoost.M1,也称为Discrete AdaBoost,如果基分类器返回实值预测,如映射到[-1, 1]的的概原创 2020-12-18 16:46:18 · 819 阅读 · 0 评论 -
ESL第九章 加性模型、树和相关方法 backfitting/加性逻辑回归、成本复杂度剪枝/基尼系数/各种问题扩展/ROC、PRIM、MARS/反射对/R方、层次混合专家、缺失数据/【完全】随机缺失
目录9.1 广义加性模型9.1.1 拟合可加模型9.1.2 例子:加性逻辑回归9.1.3 总结9.2 基于树的方法9.2.1 背景9.2.2 回归树9.2.3 分类树9.2.4 其他问题9.1 广义加性模型P296 和第五章基的扩张不同的是,这里采用散点图光滑器scatterplot smoother(三次光滑样条、核光滑器等)进行,并提供同时估计所以ppp个函数的方法P296 链接函数link function,通过链接函数让条件均值和可加函数相关联。书上列举了一些链接函数P297 广义线性模型原创 2020-12-13 17:02:26 · 1904 阅读 · 3 评论 -
ESL第八章 模型推断和平均 【参数】自助法/得分函数/信息矩阵/观测信息/费舍尔信息量、贝叶斯方法/无信息先验、高斯混合/GEM/MM算法、吉布斯、Bagging、委员会、Stacking、随机搜索
目录8.2 自助法核最大似然方法8.2.1 平滑例子8.2 自助法核最大似然方法8.2.1 平滑例子P264 非参自助法nonparametric bootstrap,这个方法与模型无关,使用原始数据来得到新数据集,而不是一个特定含参数模型。参数自助法parametric bootstrap参考文献:[1] ESL CN...原创 2020-12-10 16:22:47 · 1246 阅读 · 0 评论 -
ESL第七章 模型评估及选择 【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录7.2 偏差、方差和模型复杂度7.3 偏差-方差分解7.3.1 方差-偏差权衡7.2 偏差、方差和模型复杂度P220 测试误差test error就是泛化误差generalization error(也就是期望风险);对其的训练集求期望,得到期望预测误差expected prediction error或称期望测试误差expected test errorP221 −2×log-likelihood-2\times \text{log-likelihood}−2×log-likelihood有时原创 2020-12-07 15:05:35 · 1960 阅读 · 0 评论 -
ESL第六章 核光滑方法 度量窗口/近邻窗口、局部线性【或多项式】回归、高维局部回归、局部逻辑回归、核密度估计/核密度分类/朴素贝叶斯、径向基函数【网络】/重标准化/N-W核回归估计、高斯混合【分类】
目录6.0 导言6.1 一维核光滑器6.1.1 局部线性回归6.1.2 局部多项式回归6.2 选择核宽度6.3 Rp\mathbb R^pRp中的局部回归6.0 导言P192 本章的方法都是memory-based,很少或不需要训练。模型就是整个训练集(PRML中高斯过程似乎也是这样)P191 本章中的“核”大多作为局部化工具,其技巧不要与其他“核方法”相混淆6.1 一维核光滑器P192 Nearest-Neighbor核不连续,很容易的改进是Epanechnikov (quadratic)原创 2020-12-04 11:02:32 · 983 阅读 · 0 评论 -
ESL第五章 基扩张和正则化 【自然】三次样条/似然比检验/自然正则化、自由度/光滑矩阵/收缩光滑/局部拟合/等价核、非参逻辑回归、多维张量积/加性样条、RKHS/径向基、小波光滑/自适应滤波、B样条
目录5.1 导言5.2 分段多项式和样条5.2.1 自然三次样条Natural Cubic Splines5.2.2 例子:南非心脏病5.2.3 例子:音素识别附录 样条计算B样条光滑样条计算5.1 导言P140 高阶项其实是泰勒展开的高次项P140 三种方法控制模型复杂度:(这一块感觉和2.8节有关联)限制方法,限制函数类别,例如加性模型选择方法,选择基的字典中对拟合显著的基. 像 CART,MARS 和 boosting 这些逐步贪婪的方式也划为这一类.正则化方法,例如ridge re原创 2020-12-02 11:24:39 · 1969 阅读 · 0 评论 -
ESL第四章 分类的线性方法 指示矩阵线性回归/LDA和线性回归区别联系/QDA/RDA/低秩LDA与PCA&线性回归联系/IRLS/Wald和Rao score检验/L1逻辑回归、感知机/SVM
目录4.2 指示矩阵(Indicator Matrix)线性回归4.2 指示矩阵(Indicator Matrix)线性回归P104 用回归做K分类,Y∈RN×K\bm Y \in \mathbb R^{N\times K}Y∈RN×K,其中每一行只有一个位置为1. 可以证明如果有偏置项,对任意输入xxx,这KKK个值求和为1,不过可能会出现负数...原创 2020-11-27 18:15:59 · 1445 阅读 · 0 评论 -
ESL第二章Overview of Supervised Learning knn有效参数、统计决策理论/贝叶斯分类器/贝叶斯阶、维度灾难、可加误差模型、三次光滑样条/核方法/基函数/字典方法
(开始读ESL,写点笔记,不会像PRML那样抄书,只列不熟悉的内容,尤其是偏频率派的。具体的内容翻书)前言和第一章写了一些思想性的和导论性的东西,可以翻一翻目录2.3 Two Simple Approaches to Prediction: Least Squares and Nearest Neighbors2.3.3 Nearest-Neighbor Methods2.3 Two Simple Approaches to Prediction: Least Squares and Nearest原创 2020-11-10 17:41:52 · 425 阅读 · 0 评论 -
ESL第三章 回归的线性方法 系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
目录3.2 线性回归模型的最小二乘法3.2 线性回归模型的最小二乘法P47 参数服从高斯分布,残差之和/噪声方差服从卡方分布P48 关于参数的t分布假设检验原创 2020-11-25 20:27:57 · 1310 阅读 · 0 评论 -
PRML第六章读书笔记——Kernel Methods 静止核、对偶表示、构造核、高斯核函数、Fisher核、径向基函数网络/Nadaraya-Watson模型、高斯过程回归/分类/自动相关确定
目录静止核stationary kernel径向基函数radial basis function(同质核homogeneous kernel)6.1 Dual Representations许多线性参数模型可以被转化为一个等价的“对偶表示”dual representation,其中,预测是基于训练数据点处的核函数线性组合对于非线性特征空间映射ϕ(x)\phi(\textbf x)ϕ(x),核函数为k(x,x′)=ϕ(x)Tϕ(x′)k(\textbf x,\textbf x')=\phi(\te原创 2020-10-04 15:59:43 · 1313 阅读 · 0 评论 -
从高斯分布,到三大分布(卡方分布、t分布、F分布),到t检验
今天又把西瓜书的2.4节比较检验读了一下,读到t检验时发现以前很多理解不到位的地方。这里从最基础的高斯分布开始,把内容串起来,数学推导大多略去,可以找有关教材和百科。目录高斯分布Γ\GammaΓ(Gamma)函数B(Beta)函数卡方分布(学生)t分布记XXX是随机变量高斯分布两个高斯分布相加仍然是高斯分布高斯分布“再生性”:如果一个高斯分布,表示成两个独立随机变量之和,则这两个独立随机变量必服从高斯分布Γ\GammaΓ(Gamma)函数Γ(x)=∫0∞e−ttx−1dt(x>0)原创 2020-09-15 16:42:10 · 3664 阅读 · 0 评论 -
频率学派 vs 贝叶斯学派
写一点老生常谈的东西:)原创 2020-08-14 21:06:09 · 273 阅读 · 0 评论 -
总结机器学习中的线性代数和矩阵论基础
目录线性变换线性空间Ax=b的解空间不构成线性子空间矩阵[向量]空间子空间的加和交4个基本子空间A=CR分解,行秩等于列秩几个性质子空间投影最小二乘问题分析角度看最小二乘问题应用:线性回归(摘自PRML P143)几何解释多重共线性缺陷行列式和逆最基本的性质行列式表示矩阵组成的体积行列式算法逆矩阵克拉默法则正交矩阵旋转矩阵与正交变换反射矩阵A=QR与Gram-schmitt正交化应用:信号处理中的变换特征值与特征向量特征值分解实对称矩阵的特征值分解谱定理Spectral Theorem主轴定理实对称矩阵的谱原创 2020-06-20 21:03:32 · 2808 阅读 · 0 评论 -
教学优化算法的简单介绍
目录(这是一篇半年前写的东西……)摘要背景算法学生初始化教学阶段学习阶段流程总结优缺点优点缺点一些改进总结参考文献摘要教学优化算法(Teaching-learning-based optimization, TLBO)是一种基于种群的启发式随机群智能算法。与其他的进化算法类似,该方法也存在迭代过程。该过程分为两步,每个阶段执行各自的优化。相比于其他的算法,教学优化算法的主要优势在于概念简单、超参数量少、收敛快速。本文对教学优化算法进行简单介绍,并对教学优化算法在各方面的一些改进扩展进行描述。背景近原创 2020-06-01 10:45:56 · 6062 阅读 · 3 评论 -
【算法】浮点数开方
目录题目随想思路代码题目给一个浮点数x>0x>0x>0,计算x\sqrt xx,返回值也为float类型。随想之前一次面试,被问到这个题。当时忘了解法,用泰勒展开,折腾半天,啥也没搞出来,无奈写了二分法。这里写篇博客强记一下。思路牛顿法!牛顿法!牛顿法!我直接把这个题泛化一下,假设是开kkk次方,k∈Nk \in \mathbb{N}k∈N且k>1k >...原创 2020-01-16 00:25:54 · 980 阅读 · 0 评论 -
小波变换——公式整理和简单介绍
目录写在前面基于矩阵的变换(Matrix-based Transforms)正交变换二维情况小波变换的基本原理尺度函数(Father Scaling Function)基本概念哈尔尺度函数尺度函数的要求其他性质小波函数(Mother Wavelet Function)基本概念哈尔小波函数小波级数展开(Wavelet Series Expansion)一维离散小波变换(1-D Discrete Wa...原创 2020-01-14 00:32:15 · 56057 阅读 · 9 评论 -
变分法在机器学习中的应用
目录一个概率分布问题变分法预备定理优化问题与函数集合Euler方程第一形式概率分布问题的解决问题1的解决问题2的解决小结一个概率分布问题介绍变分法之前,先抛出一个和机器学习有关的概率问题:一个一维分布p(x)p(x)p(x):若已知期望为μ\muμ,方差为σ2\sigma^2σ2,熵最大的情况下ppp是什么分布?不要问题1的条件,换成若已知随机变量的取值范围在(a,b)(a,b)(a,...原创 2020-01-12 22:02:19 · 1650 阅读 · 0 评论 -
神经网络反向传播向量化
Latex的没写,因为没(wo)有(tai)时(lan)间(le),以后再补上。参考资料:矩阵求导术-上记得有空把下看啦。原创 2020-01-12 17:36:34 · 1116 阅读 · 0 评论 -
整理与随笔——抽象代数 第一章 群 1.1-1.2 代数体系、半群与群
教程:抽象代数(邓少强)抽象代数历史来源:一元五次及以上的方程是否有根式解?欧拉,拉格朗日,高斯,阿贝尔如何找出一类特殊方程可用根式解?加罗瓦——Galois理论 (这里必须要表达我对Galois的敬佩!)1. 代数体系1.1 运算及关系集合映射i:A0→Ai: A_0 \rightarrow Ai:A0→A称iii为A0A_0A0到AAA的嵌入映射开拓、限制:fff为...原创 2020-01-12 01:59:59 · 927 阅读 · 0 评论