自然语言处理
文章平均质量分 89
就叫昵称吧
这个作者很懒,什么都没留下…
展开
-
句法分析——CYK分析算法
文章目录CYK分析算法1 CYK算法的条件2 算法描述3 示例4 算法评价CYK分析算法 形式语言知识:形式语言1 CYK算法的条件 CYK算法(Coke-Younger-Kasami)算法,也是基于CFG规则的分析算法,是一种自底向上的分析算法,CYK算法分析需要的是乔姆斯基文法的范式化,即只有这两种规则:A→wA\rightarrow wA→wA→BCA\rightarrow...原创 2019-12-31 22:42:24 · 10499 阅读 · 3 评论 -
句法分析——线图分析法
文章目录线图分析法1 三种策略2 自底向上的线图分析法3 数据结构4 点规则5 算法描述6 示例线图分析法 线图分析法(chart parsing)是基于CFG规则的分析方法,首先需要了解一下什么是形式语言:形式语言1 三种策略 线图分析法在具体的实现上有三种不同的策略,分别为:自底向上(Bottom-up)从上到下(Top-down)从上到下和从下到上结合对于自然语言来说...原创 2019-12-30 21:23:13 · 5101 阅读 · 8 评论 -
形式语言
文章目录形式语言1 形式语言1.1 语言的定义1.2 语言描述的三种途径1.3 形式语言的直观意义1.4 形式语法(文法)的定义1.5 推导的定义1.6 最左、最右、规范推导1.7 句型与句子1.8 形式语法的类型1.8.1 正则文法1.8.2 上下文无关文法1.8.3 上下文有关文法1.8.4 无约束文法1.9 CFG产生的语言句子的派生树表示1.10 上下文无关文法的二义性形式语言1 形式...原创 2019-12-29 18:59:03 · 2559 阅读 · 0 评论 -
汉语自动分词基本算法
文章目录汉语自动分词基本算法1 最大匹配法(Maximum Matching , MM)1.1 FMM算法描述1.2 例子1.3 优缺点2 最少分词法(最短路径法)2.1 算法描述2.2 例子2.3 优缺点3 基于语言模型的分词方法4 基于HMM的分词方法5 由字构词(基于字标注)的分词方法汉语自动分词基本算法1 最大匹配法(Maximum Matching , MM) 该方法是有词典切分...原创 2019-12-25 12:02:54 · 1228 阅读 · 0 评论 -
NLP语言模型
文章目录语言模型1 基本概念1.1 一个问题1.2 问题的解决方法1.3 n-gram1.4 n-gram的应用2 参数估计2.1 一个例子3 数据平滑3.1 加1法3.2减值法/折扣法(Discounting)3.2.1 古德-图灵(Good-Turing)估计法3.2.2 Back-off(后备/后退方法,Katz平滑方法)3.2.3 绝对减值法(Absolute discounting)3....原创 2019-12-24 15:33:24 · 904 阅读 · 0 评论 -
隐马尔可夫模型
马尔可夫模型的一些概念 随机过程(随机函数)是随时间而随机变化的过程。马尔可夫模型描述了一个重要的随机过程。我们常常需要考虑一个随机变量序列,这些随机变量并不是相互独立的,每个随机变量的值依赖于这个序列前面的状态。现假设一个系统: 1)系统有N个有限状态,状态集合S={s1,s2,⋯ ,sN}S=\{s_1,s_2,\cdots,s_N\}S={s1,s2,⋯,sN},随着时间的推移...原创 2019-10-23 20:50:45 · 297 阅读 · 1 评论