![](https://img-blog.csdnimg.cn/20181218202943578.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习数学基础
文章平均质量分 55
本专栏总结博主在研究机器学习过程中遇到的各种数学问题,以求更加深入了解机器学习的内部细节
_寒潭雁影
中科大IT向博士,熟悉MFC,C++,C等语言,参与过ffmpeg、机器视觉、并行计算、数据库等相关项目的研发和代码的编写http://blog.csdn.net/weixinhum为本人博客,上面记录了本人的一些技术总结
展开
-
EM算法在高斯混合模型学习中的应用
本篇文章是之前期望极大算法(EM算法)文章的后续,有需要可以先看看那篇文章关于EM算法的推导。高斯混合模型高斯混合模型是研究算法的人避不开的一个东西,其在非深度学习的远古时代经常被用到,比如图像处理任务的前背景提取,点云处理任务的点云聚类等等等等。具体的,高斯混合模型是指具有如下形式的概率分布模型:P(y∣θ)=∑k=1Kαkϕ(y∣θk)P(y \mid \theta)=\sum_{k=1}^{K} \alpha_{k} \phi\left(y \mid \theta_{k}\right).原创 2020-09-24 16:16:37 · 606 阅读 · 0 评论 -
期望极大算法(EM算法)
看本篇之前如果不了解似然函数和极大似然估计的话可能有点要命,请先弄清楚相应的知识。另外,如果有符号/名词的含义不太明白,可拉到文章的最下方看看相应的说明。在极大似然估计的博客中,我们在公式层面上讨论了怎么进行概率模型参数的极大似然估计。在文章中举的掷色子的例子中(不含有隐变量),我们也了解到可以通过求解函数的导数求得极值来得到这个极大似然估计。在本篇文章中,我们将探讨含有隐变量的概率模型参数的极大似然估计算法—EM算法。隐变量首先要明白啥是隐变量,看到李航老师《统计学习方法》中举的例子:还是.原创 2020-09-03 23:36:07 · 783 阅读 · 2 评论 -
琴生(jensen)不等式
在Gan生成对抗神经网络中会用到Jensen不等式,因此做下记录。Jensen不等式告诉我们:如果fff是在区间[a,b][a,b][a,b]上的凸函数(就是导数一直增长的函数,或者说是导数的导数大于0的函数),xxx是随机变量,那么有:E(f(x))≥f(E(x))E(f(x))≥f(E(x))E(f(x))≥f(E(x))也就是说函数fff的期望大于等于期望的函数。下面来看看怎么证...原创 2019-01-02 23:35:09 · 3574 阅读 · 0 评论 -
GAN生成对抗式神经网络数学推导
由上面一篇文章我们已经知道了,如果我们从真实数据分布里面取n个样本,根据给定样本我们可以列出其出现概率的表达式,那么生成这N个样本数据的似然(likelihood)就是l(θ)=∏i=1Np(xi∣θ)l ( \theta )= \prod _ { i = 1 } ^ { N } p \left( x _ { i } | \theta \right)l(θ)=i=1∏Np(xi∣θ)我...原创 2018-12-24 17:46:58 · 3495 阅读 · 7 评论 -
极大似然估计(MLE)
上一篇文章我们已经了解了似然函数是什么,但怎么去把里面的θθθ给求出来是个更加关键的问题。这篇我们将来探讨下这个问题。还是先举一个例子,假设有一个造币厂生产某种硬币,现在我们拿到了一枚这种硬币,想试试这硬币是不是均匀的。即想知道抛这枚硬币,正反面出现的概率(记为θθθ)各是多少?这是一个统计问题,回想一下,解决统计问题需要什么? 数据!于是我们拿这枚硬币抛了10次,得到的数据x0x_0x0...原创 2018-12-18 22:10:01 · 3129 阅读 · 0 评论 -
似然函数
似然(likelihood)这个词其实和概率(probability)是差不多的意思,但是在统计里面,似然函数和概率函数却是两个不同的概念。对于函数:P(x∣θ)P ( x | \theta )P(x∣θ),输入有两个:xxx表示某一个具体的数据;θθθ表示模型的参数。如果θθθ是确定的,xxx是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点xx...原创 2018-12-18 21:12:42 · 3159 阅读 · 1 评论 -
JS散度
前面我们介绍了相对熵(KL散度)的概念,知道了它可以用来表示两个概率分布之间的差异,但有个不大好的地方是它并不是对称的,因此有时用它来训练神经网络会有顺序不同造成不一样的训练结果的情况(其实个人觉得也就是训练时间差异罢了,也没那么严重)。为了克服这个问题,有人就提出了一个新的衡量公式,叫做JSJSJS散度,式子如下:JS(P1∥P2)=12KL(P1∥P1+P22)+12KL(P2∥P1+P22...原创 2018-12-23 22:54:10 · 16303 阅读 · 7 评论 -
交叉熵
上一篇文章我们简单介绍了相对熵的概念,知道了相对熵可以用来表达真实事件和理论拟合出来的事件之间的差异。相对熵的公式如下:DKL(p∥q)=∑i=1Np(xi)logp(xi)−∑i=1Np(xi)logq(xi)D _ { K L } ( p \| q ) = \sum _ { i = 1 } ^ { N }p \left( x _ { i } \right)\log p \left( ...原创 2018-12-18 14:54:51 · 568 阅读 · 0 评论 -
相对熵(KL散度)
上一篇文章我们简单介绍了信息熵的概念,知道了信息熵可以表达数据的信息量大小,是信息处理一个非常重要的概念。对于离散型随机变量,信息熵公式如下:H(p)=H(X)=Ex∼p(x)[−logp(x)]=−∑i=1np(x)logp(x)H ( p ) = H ( X ) = \mathrm { E } _ { x \sim p ( x ) } [ - \log p ( x ) ] = -\s...原创 2018-12-18 14:33:55 · 84953 阅读 · 22 评论 -
信息熵
上一篇文章我们简单介绍了香农信息量的概念,由香农信息量我们可以知道对于一个已知概率的事件,我们需要多少的数据量能完整地把它表达清楚,不与外界产生歧义。但对于整个系统而言,其实我们更加关心的是表达系统整体所需要的信息量。比如我们上面举例的aaBaaaVaaaaaaaBaaaVaaaaaaaBaaaVaaaaa这段字母,虽然BBB和VVV的香农信息量比较大,但他们出现的次数明显要比aaa少很多,因此我...原创 2018-12-18 09:09:49 · 5851 阅读 · 2 评论 -
香农信息量
如果是连续型随机变量的情况,设ppp为随机变量XXX的概率分布,即p(x)p(x)p(x)为随机变量XXX在X=xX=xX=x处的概率密度函数值,则随机变量XXX在X=xX=xX=x处的香农信息量定义为:−log2p(x)=log21p(x)-log_2p(x)=log_2\frac{1}{p(x)}−log2p(x)=log2p(x)1这时香农信息量的单位为比特。(如果非连续型随机变量,...原创 2018-12-18 08:40:07 · 7572 阅读 · 0 评论