- 博客(11)
- 资源 (1)
- 收藏
- 关注
原创 5分钟理解CFG上下文无关文法的解析算法
本文是5分钟理解CFG上下文无关文法的续集,在5分钟理解CFG上下文无关文法这篇文章中已经讲解了CFG的基本概念,但是CFG的解析算法才是核心。由于它的解析算法极其复杂,网上很少有文章能把解析算法用大众能理解的语言写出来,本人在理解了算法后用python代码实现了算法,通过测试用例验证了该算法的正确性,当然也验证了我理解的是正确的。这里说的解析其实就是验证一个输入字符串input是否符合给定的文法G,实现算法有CYK解析算法,和Eerley解析算法,都是是以人名命名。下面介绍Eerley解析算法假设
2021-02-05 14:37:28 2493 1
原创 5分钟理解CFG上下文无关文法
CFG是基于规则的NLP(自然语言处理)的一种方法。CFG是什么CFG的英文全称context free grammar,中文叫上下文无关文法 CFG是一组替换规则,例如:A->B C; B->E F; E->e;… A->B C表示变量A可以被变量B和变量C替换,E->e表示变量E可以被最终的值e替换。e不是变量,不可再被替换了。 CFG主要作用是验证一个输入字符串input,是否符合某个文法G。与正则表达式比较像。但是比正则表达式功能更强大,能表达非常复杂的文.
2021-02-05 12:19:22 8742
原创 5分钟理解transformer模型位置编码
Bert模型是自然语言处理方面程碑式的进步,核心是transformer层, 而transformer是自注意力编码器,循环网络天生的文字顺序信息在自注意力编码器中没有了,而语言往往是顺序不同意思相差很大。所以transformer的作者设计了一个位置编码方式,为每个不同位置的token...
2020-08-07 16:43:25 13651 11
原创 5分钟理解边缘概率,联合概率,条件概率,随机事件独立,随机事件依赖
在隐马尔可夫(HMM)和条件随机场(CRF)中有很多概率计算问题,要想理解他们,必须先把概率的一些概念及计算公式搞清楚。本文旨在用形象的图形和具体事例来讲解这些概念和公式,以帮助理解。边缘概率:一个随机事件的发生概率,记做P(X),而这件事不发生的概率是1-P(X),有的会记做P(...
2020-04-14 18:14:38 4528
原创 5分钟理解维特比算法
安德鲁·维特比老人家发明了维特比算法,用非常巧妙的方法简化了隐马尔可夫第二个问题运算过程。维特比先生后来发明了CDMA技术并与人一起创办了高通公司,高通现在是通信巨头,不生产产品却每年收取大量的专利费。 下面我们用简单的例子(而不是深奥的数学公式)来理解维特比算法。标题 图1中有若干个节点,S是起点,D0是终点,节点之间的连线是通道,每条通道的路程各不相同,现在问从起点...
2019-08-17 10:32:13 783 3
原创 5分钟理解条件随机场(CRF)概念
开始我给的标题是5分钟理解条件随机场,后来发现这有点大言不惭,因为条件随机场非常复杂,即使大师都没法在5分钟内讲清楚,几个小时还差不多,而且听众要有较强的数学基础才能听懂。所以这篇文章只讲基础概念,下篇再讲应用细节。条件随机场,英文Conditional Random Field,通常简称CRF,在机器学习中用来解决序列标注问题。典型的序列标注问题就是对句子进行词性标注。如:我 /n ...
2019-08-11 14:05:54 4251 1
原创 5分钟理解互信息,条件熵,联合熵
好不容易理解了信息熵的概念后,又发现还有其他各种熵,经常把人绕晕,比如决策树模型中要计算信息增益(其实就是互信息),最大熵模型中要计算条件熵,下面我们就来用5分钟理解下互信息,条件熵,联合熵。先看他们之间的关系。上图中两个完整的圆圈,分别表示X的信息熵H(X),和Y的信息熵H(Y),两个圆有一部分是重叠的,重叠部分用C表示,A和B表示的是完整圆去除了重叠区域C的部分。H(X)=A...
2019-08-07 08:19:09 2085
原创 5分钟理解信息熵
机器学习中各种熵(信息熵,条件熵,联合熵,互信息,交叉熵)是最重要的概念之一,也是最难理解的。对于分类问题,我们常常计算两个概率密度函数的交叉熵,以衡量预测值和真实值之间的误差。而信息熵是这些概念的基础。含义:智商是衡量一个人智力高低的指标,信息熵(商)是衡量一个随机事件所包含的信息量的指标。信息量怎么衡量呢?信息是用来传递的,传递时是需要借助某些介质来对信息编码的,正如古代用烽火台来传...
2019-08-06 22:44:57 5027
原创 5分钟理解贝叶斯公式
贝叶斯公式:$$P(Y|X)=\frac{P(X|Y) P(Y)}{P(X)}$$贝叶斯公式是机器学习的大部分算法理论的基础,比如朴素贝叶斯方法,隐马尔可夫模型,条件随机场,可以说不理解贝叶斯公式就不可能搞懂机器学习算法。先用个例子理解贝叶斯公式涉及的几个概念:先验概率(又叫边缘概率)P(X)或P(Y),联合概率P(X,Y),后验概率(又叫条件概率)P(X|Y)和P(Y|X)。假设老王...
2019-08-04 19:33:03 2565 1
原创 垃圾邮件分类器的原理(2)
基本原理是:1.拿到一批英文邮件,其中标记好哪些是正常,那些是垃圾,作为训练和测试样本2.5000个样本,随机取4000个作为训练样本,另外1000个作为训练完成后的测试样本来验证判断效果准不准3.对邮件进行预处理,把词缀ing,ies,es,ed,ied去除,这样使得不同时态的单词当成相同单词来处理,对所有数字统一替换为字符串“number”,对网址统一替换为“addr”,对网页标签字符直...
2017-08-17 23:44:17 1280
原创 垃圾邮件分类器的原理(1)
学习完了斯坦福大学《机器学习》第7周课程,做完编程作业垃圾邮件分类器,准备分享下实现原理和实现方法,对自己也是起到总结作用,对博友是个参考,估计得写好几篇才能讲完,这是第一篇。第二篇的地址:垃圾邮件分类器的原理(2)先看运行结果:训练样本有4000个,测试样本有1000个,结果显示判断准确率都在98%以上Preprocessing sample email (emailSample...
2017-08-17 22:35:32 2341
数据库设计与sql优化培训讲义
2014-03-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人