人工智能里的数学修炼
Liangjun_Feng
路漫漫,上下而求索
展开
-
人工智能里的数学修炼 | 模型参数求解:极大似然估计
极大似然估计(maximum likelihood estimation,mle)方法最初由德国数学家高斯提出,但这个方法通常被归功于英国统计学家罗纳德·菲舍尔。他在1992年的论文On the mathematical foundations of theoretical statistics, reprinted in Contributions to Mathematical Statisti原创 2017-12-21 21:11:02 · 2928 阅读 · 0 评论 -
人工智能里的数学修炼 | 隐马尔可夫模型 : 维特比(Viterbi)算法解码隐藏状态序列
之前的博客 人工智能里的数学修炼 | 概率图模型 : 隐马尔可夫模型已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题:1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。这里介绍求解第二个预测问题的维特比算法,这里举个例子回归一下预测问题在语音识别等任务中,观测值为语音信号,隐藏状态为文字,目标就是根据观测信号来推断最有可能的状态序列一、维比特算法的可递推局部状态...原创 2019-07-09 13:04:42 · 796 阅读 · 0 评论 -
人工智能里的数学修炼 | 隐马尔可夫模型:前向后向算法
之前的博客 人工智能里的数学修炼 | 概率图模型 : 隐马尔可夫模型已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题:1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。这里介绍求解第一个生成观察序列概率的前向后向算法,前向后向算法实际上是两个算法的合成,即前向算法和后向算法,二者相似,这里主要以前向算法为例进行介绍一、前向算法前向算法针对的是隐马尔可夫模型的概率计...原创 2019-07-08 22:16:38 · 700 阅读 · 0 评论 -
人工智能里的数学修炼 | 概率图模型 : 隐马尔可夫模型
概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,结点之间的边表示变量间的概率相关关系,即“变量关系图”。根据边的性质不同,概率图模型可大致分为两类:第一类是使用有向无环图表示变量间的依赖关系,称为有向图模型或贝叶斯网(Bayesian network);第二类是使用无向...原创 2019-07-08 21:09:04 · 996 阅读 · 0 评论 -
人工智能里的数学修炼 | AdaBoost的数学原理: 分布更新推导
Boosting 是一族可以将弱学习器提升为强学习器的算法。这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器达到事先指定的值T,最终将这T个基学习器进行加权结合。Boosting 族算法最著名的代表是AdaBoost ...原创 2018-03-18 21:01:35 · 1839 阅读 · 0 评论 -
人工智能里的数学修炼 | 约束问题的优化求解:拉格朗日乘子法、KKT条件与对偶问题
简单的说,拉格朗日乘子法是一种寻找多元函数在一组等式约束下极值的方法,通过引入拉格朗日乘子,可以将有 dd 个变量与 kk 个约束条件的最优化问题转化为具有转化为具有 d+kd+k 个变量的无约束优化问题求解。 而KKT条件和对偶问题则可以看作是拉格朗日乘子法的推广。一、约束优化问题分类 二、等式约束与拉格朗日乘子法 三、拉格朗日乘子法的推广:KKT条件 四、拉格朗日原问题与对偶问题一、约束优原创 2017-12-17 13:47:42 · 2983 阅读 · 0 评论 -
人工智能里的数学修炼 | 交叉熵损失函数:从信息说起
交叉熵损失函数被广泛的运用于各种神经网络的训练目标函数,今天我们来深度刨析一番这一函数的优势何在,它又是从何而来?一.最初的方差损失函数二.独热编码与SoftMax函数三.信息量与熵四.相对熵五.交叉熵与交叉熵损失函数原创 2017-12-08 22:41:05 · 2814 阅读 · 0 评论 -
人工智能里的数学修炼 | 矩阵的花样分解:特征值分解(EVD)、相似对角化、QR分解、Schur分解、奇异值分解(SVD)的概念纠缠与详解
在高等代数里,矩阵分解是一个十分基础与重要的内容,任何一个学校对于理工科的研究生教育都会开设相应的课程,如:矩阵分析、矩阵论、线性系统等。看了不少社区的问答、笔记和博客,在它们的基础上加入一些自己的理解,写下这篇概念详解,博客中借鉴了不少前人的观点,这里感谢他们的付出原创 2017-11-06 14:32:33 · 13330 阅读 · 0 评论 -
人工智能里的数学修炼 | 是什么决定了你的学习算法泛化性能?偏差—方差分解(bias-variance decomposition)
要想提升自己模型的预测能力,得先了解这种能力受什么影响原创 2017-08-29 20:03:58 · 2822 阅读 · 5 评论 -
人工智能里的数学修炼 | 隐马尔可夫模型:基于EM的鲍姆-韦尔奇算法求解模型参数
隐马尔可夫模型的参数为λ={A,B,π}\lambda=\{A,B,\pi\}λ={A,B,π}, 对余其参数的求解,可以分为两种情况。第一种情况较为简单,就是我们已知长度为TTT的观测序列和对应的隐藏状态序列,即{(O,I)}\{(O,I)\}{(O,I)}是已知的,此时我们可以很容易的用最大似然来求解模型参数。第二种情况较为复杂,很多时候,我们无法得到隐马尔可夫模型观察序列对应的隐藏序列,...原创 2019-07-09 15:33:13 · 1028 阅读 · 0 评论