语言模型知识梳理

原创 2018年04月17日 18:23:32

最近在做文本生成方面的工作,看了大量的语言模型相关的资料,在这里记录下来,以做参考。


(1)语言模型是什么?

语言模型是衡量一系列的字串是自然语言的概率,但是他不考虑语法层面的东西。

(2)语言模型的用处?

如:音字转换、拼写纠错、机器翻译等。

(3)语言模型现状

根据概率,我们有p(L) = p(w1|s)*p(w2|s,w1)*p(w3|s,w1,w2)*....P(e|s,w1,w2,...wn)

然而,需要的参数空间非常巨大,我们就用了马尔可夫假设,设定某个词只与其前N个词相关,如N=1,就是我们常见的二元语言模型。现在的问题就归结到了如何估算概率p(wi|wi-1)


第一种是基于计数的n-gram

利用最大思然估计估计其概率值 p = (wi-1 wi)/wi-1  即,元祖的计数/元祖前缀的计数

由于大量训练语料不可能包括所有的组合情况,所以需要一些平滑技术,增加自然语言模型的鲁棒性。

常见的平滑方法有(加k法,古德图灵法,加权平均法等),有时间就展开详述吧。


第二种就是神经网络的概率模型。

最容易想到的就是我用前一个词的one-hot编码去预测下一个词的one-hot编码,用来学习网络参数。再有一个新词的时候,我们就会得到各个词的概率。但是参数空加依然巨大。

所以就引出了分布式表示的词嵌入。

词嵌入有两种方式:cbow 和 skip-gram

为了加快词嵌入的训练速度就有了,分层softmax 和 负采样。

都是知识点,有时间在细化吧。

参考:

http://www.flickering.cn/nlp/2015/02/%E6%88%91%E4%BB%AC%E6%98%AF%E8%BF%99%E6%A0%B7%E7%90%86%E8%A7%A3%E8%AF%AD%E8%A8%80%E7%9A%84-2%E7%BB%9F%E8%AE%A1%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/

http://licstar.net/archives/328

https://blog.csdn.net/w5688414/article/details/78012409



WDM驱动程序设计之编译安装篇

(作者:苏金国 2000年11月09日 13:26)设计开发好自己的WDM驱动程序后,为了运行该驱动程序,我们必须编译和安装它们。   ■编译设备驱动程序的方法   安装DDK后,在DDK程序组下有C...
  • ghj1976
  • ghj1976
  • 2000-11-27 15:26:00
  • 1610

linux网络操作系统 知识梳理

  • 2010年06月25日 12:10
  • 264KB
  • 下载

OpenStack构架知识梳理

OpenStack构架知识梳理 OpenStack既是一个社区,也是一个项目和一个开源软件,提供开放源码软件,建立公共和私有云,它提供了一个部署云的操作平台或工具集,其宗旨在于:帮助...
  • yaofengyaofeng
  • yaofengyaofeng
  • 2018-01-26 12:57:36
  • 82

Statistical language model 统计语言模型

学习笔记来自斯坦福公开课的自然语言处理(https://class.coursera.org/nlp/),以其中讲义为主,加入自己的学习理解,以加深学习印象。 内容提纲: 1. N-GRAM介...
  • a635661820
  • a635661820
  • 2015-02-22 08:48:15
  • 4347

统计语言模型简述

最近在学习机器学习、自然语言处理相关知识。就我目前接触的范围来说,这两方面数学占的比重还是极大的。 机器学习的课程我推荐coursera上的machine learning课程。而自然语言处理的大致了...
  • Ed_New
  • Ed_New
  • 2016-07-16 16:16:24
  • 1376

语言模型(二) 评估和类别

一、Evaluation 1、  熵 entropy l  熵(entropy)又称自信息,self-information 描述一个随机变量的不确定性的数量,熵越大,不确定性越大,正确估计其值的可...
  • xmdxcsj
  • xmdxcsj
  • 2015-11-26 09:26:21
  • 3033

语音专题第三讲,语言模型

语言模型技术广泛应用于语音识别、OCR、机器翻译、输入法等产品上。语言模型建模过程中,包括词典、语料、模型选择,对产品的性能有至关重要的影响。语言模型的建模需要利用复杂的模型公式进行模拟计算,是人工智...
  • ffmpeg4976
  • ffmpeg4976
  • 2016-09-01 10:35:38
  • 1376

语言模型(Language Modeling)”

 斯坦福大学自然语言处理第四课“语言模型(Language Modeling)” 一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程,由NLP领域大...
  • yaoweijiao
  • yaoweijiao
  • 2016-10-27 14:01:58
  • 1209

语言模型 Language Modeling

1、语言模型的定义 :     符号含义:         V-->语言中所有单词的集合,且为有限集;         -->语言中的句子,且n>=1,,为特殊符号STOP(假设STOP不在V中...
  • x_yz_
  • x_yz_
  • 2013-05-09 15:33:33
  • 2527

自然语言处理之语言模型综述

语言模型 0 文法型语言模型 文法型语言模型是人工编制的语言学文法,文法规则来源于语言学家掌握的语言学知识和领域知识,但这种语言模型不能处理大规模真实文本。 1 统计语言模型 1). 无历史,一元模...
  • lihaitao000
  • lihaitao000
  • 2016-04-15 10:35:13
  • 1226
收藏助手
不良信息举报
您举报文章:语言模型知识梳理
举报原因:
原因补充:

(最多只允许输入30个字)