语言模型

原创 2018年04月16日 17:06:42

音字转换

S da jia hao
T1
T2

为了知道拼音转换成哪一个翻译,我们可以求哪一个概率大

T=max(P(T1),P(T2))

因此需要先求P(T)

句子概率

那么怎么求一个句子的概率呢?假如一个句子S=w1,w2,wll个词组成。

P(S)=p(w1)p(w2|w1)p(w3|w2,w1)p(wl|wl1,wl2,w1)=i=1lp(wi|wi1,wi2,w1)

但是这有一个问题,假如字典中有L个词,我们计算第i个词的概率时,第i个词与前i1个词都有关系,就有Li 种可能,这就太可怕了。

这里写图片描述
假如我们让第i个词只与第i1个词有关系,

P(S)=i=1lp(wi|wi1,wi2,w1)=i=1lp(wi|wi1)

我们让w0=<BOS>即开始符,wl+1=<EOS>即结束符 。这样就只有L种可能,我们计算第i个词的概率就不需要再从头开始计算了,只需要就算前一个词就行了(这里指条件概率
这里写图片描述
掐指一算,这不就是一阶马尔科夫链吗
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/he_wen_jie/article/details/79963229

Statistical language model 统计语言模型

学习笔记来自斯坦福公开课的自然语言处理(https://class.coursera.org/nlp/),以其中讲义为主,加入自己的学习理解,以加深学习印象。 内容提纲: 1. N-GRAM介...
  • a635661820
  • a635661820
  • 2015-02-22 08:48:15
  • 4295

语言模型(二) 评估和类别

一、Evaluation 1、  熵 entropy l  熵(entropy)又称自信息,self-information 描述一个随机变量的不确定性的数量,熵越大,不确定性越大,正确估计其值的可...
  • xmdxcsj
  • xmdxcsj
  • 2015-11-26 09:26:21
  • 3007

语言模型 Language Modeling

1、语言模型的定义 :     符号含义:         V-->语言中所有单词的集合,且为有限集;         -->语言中的句子,且n>=1,,为特殊符号STOP(假设STOP不在V中...
  • x_yz_
  • x_yz_
  • 2013-05-09 15:33:33
  • 2526

htk网络和解码源码(三、语言模型)

(一)         FSLM 1.      结构体 l  对于所有的1gram Arpa文件中的每一行的每一个单词依次编号,lablist[lmId]和wordlist[lmId]...
  • xmdxcsj
  • xmdxcsj
  • 2015-05-24 17:09:53
  • 1026

几篇神经网络训练语言模型文章的阅读

本文主要对这几周读的几篇关于使用神经网络构建语言模型的论文进行总结。...
  • sinat_31188625
  • sinat_31188625
  • 2017-03-29 17:09:05
  • 2949

统计语言模型&word2vec

我们是这样理解语言的 [我们是这样理解语言的-2]统计语言模型 自然语言处理 - 语言模型(Language Modeling) NLP 学习笔记 01 经典统计语言模型 ...
  • u014568921
  • u014568921
  • 2016-06-16 22:43:53
  • 1212

语言模型(Language Modeling)”

 斯坦福大学自然语言处理第四课“语言模型(Language Modeling)” 一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程,由NLP领域大...
  • yaoweijiao
  • yaoweijiao
  • 2016-10-27 14:01:58
  • 1199

输入法中统计语言模型的建立以及平滑

转自:http://blog.qq.com/qzone/95007909/1274760124.htm 目前正在编写手机平台上的输入法,在输入法中要向实现句子级别的智能输入,必须借助统计...
  • daisyZH
  • daisyZH
  • 2013-05-29 14:43:40
  • 1184

kaldi学习笔记 -- 构造语言模型相关脚本 -- ami_train_lms.sh,utils/format_lm.sh

本文主要讲解kaldi语言模型构造脚本中关键指令的作用,输入和输出。
  • DuishengChen
  • DuishengChen
  • 2016-09-12 16:17:10
  • 2876

五、建立语言模型几种方法及使用

建立语言模型几种方法及使用 Jiangdg_VIP http://blog.csdn.net/u012637501 译自:http://cmusphinx.sourceforge.n...
  • u012637501
  • u012637501
  • 2014-11-07 16:33:42
  • 3716
收藏助手
不良信息举报
您举报文章:语言模型
举报原因:
原因补充:

(最多只允许输入30个字)