自然语言处理
文章平均质量分 97
记录学习NLP知识的专栏
陆海潘江小C
书山有路==学海无涯
展开
-
NLP技术:基于PCFG的CYK算法统计句法分析
自然语言处理重要实践:句法分析。本篇详细记录学习总结和分享经验方法,python实现使用CYK算法对上下无关文法(PCFG)的句法分析,通过核心算法讲解深入理解统计句法分析的思想并掌握具体算法代码实现,得到一个句子的语法树。原创 2020-11-13 16:42:57 · 6436 阅读 · 49 评论 -
Java实现:HMM+维特比算法词性标注
除了用jieba等分词词性标注工具,不如自行写一个算法实现同样的功能,下面将详细介绍Java实现的HMM+维特比算法实现词性标注。在给定的单词发射矩阵和词性状态转移矩阵,完成特定句子的词性标注。原创 2020-10-18 09:40:42 · 4980 阅读 · 21 评论 -
双向最大匹配算法——基于词典规则的中文分词(Java实现)
这篇将使用Java实现基于规则的中文分词算法,一个中文词典将实现准确率高达85%的分词结果。使用经典算法:正向最大匹配和反向最大匹配算法,然后双剑合璧,双向最大匹配。原创 2020-09-27 20:29:21 · 7291 阅读 · 20 评论 -
隐马尔可夫模型(HMM)来龙去脉(二)
隐马尔可夫模型(HMM),熟悉又陌生的名字,给人一种很神秘高深的感觉,而其原理来源于概率论统计学知识,包括了条件概率、贝叶斯公式、概率分布函数。这一篇将探索HMM三个基本问题的解决方案:估计问题、序列问题、参数估计。原创 2020-08-31 20:49:39 · 2625 阅读 · 9 评论 -
隐马尔可夫模型(HMM)来龙去脉(一)
隐马尔可夫模型HMM学习记录,这一章从概率图模型开始,学习常见的图模型具体的原理以及实现算法,包括了有向图模型:贝叶斯网络(BN)、(隐)马尔可夫模型(MM/HMM),无向图模型:马尔可夫网络(MN)、条件随机场(CRF)。学习前提条件需要一定的概率论与数理统计知识,里面许多方法都是概率统计知识。原创 2020-08-20 17:57:09 · 5077 阅读 · 7 评论 -
熵、联和熵与条件熵、交叉熵与相对熵是什么呢?来这里有详细解读!
熵是一个很常见的名词,在物理上有重要的评估意义,自然语言处理的预备知识中,熵作为信息论的基本和重点知识,在这里我来记录一下学习的总结,并以此与大家分享。信息论基本知识1、熵2、联和熵与条件熵3、互信息4、交叉熵与相对熵5、困惑度6、总结1、熵熵也被称为自信息,描述一个随机变量的不确定性的数量。熵越大,表明不确定性越大,所包含的信息量也越大,就说明很难去预测事件行为或者正确估值。熵的公式定义:X为一个离散型随机变量,其概率分布是p(x)=P(X=x),x ∈\in∈ R,R为x取值空间,则X的熵 H原创 2020-07-29 22:51:39 · 1867 阅读 · 4 评论