![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
计算理论
Memories off
告别回忆
展开
-
随机变量的熵的取值范围
熵(entropy)是表示随机变量不确定性的度量.设X是一个取有限个值的离散随机变量,其概率分布为P(χ=xi)=pi,i=1,2,…,nP(\chi = x_i) = p_i, i = 1, 2, \dots, nP(χ=xi)=pi,i=1,2,…,n则随机变量X的熵定义为H(χ)=−∑i=1npilogpiH(\chi) = -\sum_{i=1}^n p_i\log{p_i} H(...原创 2019-03-03 16:15:19 · 11884 阅读 · 2 评论 -
计算对数似然函数改变量
参考《统计学习方法》p89已知最大熵模型为Pw(y∣x)=1Zw(x)exp(∑i=1nwifi(x,y))P_{w}(y|x)=\frac{1}{Z_{w}(x)}exp\Big(\sum_{i=1}^nw_{i}f_{i}(x,y)\Big)Pw(y∣x)=Zw(x)1exp(i=1∑nwifi(x,y))其中,Zw(x)=∑yexp(∑i=1nwifi(x,y))Z_{w}(x...原创 2019-04-08 16:40:51 · 668 阅读 · 0 评论 -
NFA和DFA的区别
整理自课本1。DFA例子使用JFLAP软件画图。NFA例子区别对于字母表中的每个符号,DFA中的每个状态都有且只有一条关于这个符号的出边(exiting transition)。NFA则未必,可能有零条、一条甚至多条。DFA的转换箭头上的标签必须是字母表中的,但NFA可以有标识为ϵ\epsilonϵ的边,NFA的状态可能有零条、一条甚至多条ϵ\epsilonϵ边。Int...原创 2019-05-09 20:06:06 · 37161 阅读 · 4 评论 -
图灵机的形式化定义
整理自书本1。图灵机是一个7元组,(Q, ∑\sum∑, Γ\varGammaΓ, δ\deltaδ, q0q_0q0, qacceptq_{accept}qaccept, qrejectq_{reject}qreject),其中Q, ∑\sum∑, Γ\varGammaΓ都是有限集并且满足一下七个条件:Q是状态集合,∑\sum∑还是输入字母表,且不含包空符号(blank symbo...原创 2019-05-25 20:29:29 · 2440 阅读 · 0 评论 -
DK-test
内容整理自书本1。何为DK-test?我们从CFG G出发,构建与之相关的DFA DK。其中,CFG(Context Free Grammar)是上下文无关文法,DFA(Deterministic Finite Automate)是确定性的有限自动机。通过检查DK的接受态来判断G是否是确定性的。DK-test要求每一个接受态都要包含以下内容:恰巧一个完整规则没有那种终结符紧随点(dot)...原创 2019-05-22 19:00:13 · 317 阅读 · 0 评论 -
计算理论中的四类语言及其关系
整理自书本1。四类语言分别是正则语言(regular)、上下文无关语言(context-free)、可判定语言(decidable)和图灵可识别语言(Turing-recognizable)。其关系如下图所示:解释一下这几种语言的含义。书上定义3.52:如果一个语言能够被某图灵机所识别,那么称这个语言是图灵可识别语言。图灵可识别语言也可以称为递归可枚举语言(recursively en...原创 2019-05-29 15:28:25 · 2683 阅读 · 0 评论