数学与模型
XiaomengYe
脚踏实地,专注,升华
展开
-
条件随机场(CRF)知识点总结
条件随机场(CRF)模型在给定一系列随机变量的条件下,另外一组随机变量的概率分布,其特点是假设输出随机变量构成马尔可夫随机场。1. 随机场提到随机场,就不得不提及随机过程,因为随机场是随机过程的推广。随机过程:如果对于某一个固定的,都是随机变量,那么我们称是一个随机过程。直觉上,我们可以把随机过程理解为一族随即变量。并将叫做随机过程在时刻的状态。随机场:随机场是随机过程在空间域上...原创 2019-03-19 00:33:58 · 1027 阅读 · 0 评论 -
线性回归与广义线性模型(GLM)简介
线性回归假设我们有一堆数据,我们的任务是根据这些数据建立一个模型,如果我们另外获得了新的样本x,我们要用该模型预测y。如果这是一个回归问题,最简单的一个想法是将它建立为线性模型(这里的线性是指对参数的线性): 这里是噪音,通常我们会假设噪音满足,这样y满足...原创 2019-04-17 00:07:32 · 7855 阅读 · 0 评论 -
信息论基础简介
信息论在不光在通信领域有着广泛的应用,其在自然语言处理中仍然有着广泛的应用,甚至可以说其对nlp有着指导性的意义。鉴于此,对于信息论的基本概念做一下总结是很有必要的。信息熵我们知道,今天处在一个信息化的社会,那么不同的事物,大到比如语言文字、小到猜谜游戏,它们的信息量怎样去衡量呢?信息论的创始人香农提出了一个思路,一个事物的信息量可以用其不确定性来衡量,依据这个观点,信息熵的引出也就非常自...原创 2019-04-18 16:20:25 · 1279 阅读 · 0 评论 -
最大熵模型简介
最大熵模型在工业乃至于金融业都有广泛的应用,下面我们对其做简要的介绍。熵在本人的文章信息论基础简介里,我们介绍了“信息熵”,但“熵”这个词,最早是来自于热力学中的概念。宏观上,体系的熵变等于可逆过程吸收或者耗散的热量除以它的温度;微观上,熵是大量微观粒子的位置和速度的分布概率函数,是描述系统中大量微观粒子无序性宏观参数。也就是说,熵是描述事物无序性的参数,熵越大则无序性越强。从熵的定义...原创 2019-04-24 09:28:45 · 193 阅读 · 0 评论