SRILM使用之用平滑Katz回退训练语言模型

最新推荐文章于 2023-11-15 20:48:42 发布
置顶 最新推荐文章于 2023-11-15 20:48:42 发布
阅读量3.2k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiziyuandyufei/article/details/52348746
版权

问题：考虑用下面的测试文件，测试上面的模型

cat test_coupus2.txt

birds chirp

ngram -lm corpus.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

使用catzs回退方法，进行模型训练
要旨：对于次数较少的N-gram组，将其概率减少，减少的概率分配给训练集中没出现的N-gram组。

ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm

概率计算公式为
这里写图片描述

条件概率计算过程 详细见excel

这里写图片描述

这里写图片描述

这里写图片描述

重新计算困惑度

ngram -lm corpus_katz.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

笨笨的企鹅
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
单调队列【总结】
算法小猪的博客
07-12 1714
一、基本概念 单调队列是指：单调递增或单调递减的队列。所以它也有如下几个性质： 1.队列中的元素在原来的列表中的位置是由前往后的(随着循环顺序入队)。 2.队列中元素的大小是单调递增或递减的。 3.从队尾入列，队首或队尾出列 时间复杂度：O(N) 二、例题 1.最大子序和（dp+单调队列优化） 题目描述 输入一个长度为n的整数序列，从中找出一段不超过m的连续子序列，使得整个序列的和最大。 例如 1,-3,5,1,-2,3 当m=4时，S=5+1-2+3=7 当m=2或m=3时，S=5+1=6 输入 第一行两
单调队列（滑动窗口）
m0_62593364的博客
02-07 723
思路： 1.思考用普通队列该怎么做 2.将对了中没有用的元素删掉，最终使队列具有单调性 3.可以用O(1)的时间从队头/队尾取出最值 题目： 代码： # include<iostream> using namespace std; const int N = 1000010; int a[N], q[N];//a[]表示原数组，q[]表示单调队列,hh表示队头，tt表示队尾 int main() { int n, k; cin >> n >&
srilm 语言模型训练工具
11-07
语言模型训练工具 做语音识别 自然语言处理 都需要的工具 官网地址 http://www.speech.sri.com/projects/srilm/download.html 一般打不开 我就上传到这里 供朋友们下载
自然语言处理之数据平滑方法
fuermolei的博客
08-02 9043
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练的时候，预料库中不可能包含所有可能出现的序列，因此为了防止对训练样本中为出现的新序列概率估计值为零，人们发明了不少可以改善估计新序列出现的概率算法，即数据的平滑。最常见的数据平滑算法包括如下几种： Add-one (Laplace) smoothing Add-k smoothing Backoff...
【单调队列】数据结构之单调队列详解
行码棋
09-12 9056
单调队列 1.初步认识 单调队列是一个数据结构，并不是STL里面的内容。 单调队列为何说单调，因为是队列中的元素始终保持着单增或者单减的特性。（注意始终保持这四个字） 简单的sort排序就可以让一个序列有序了，为何又多此一举多出来个单调队列实现类似的功能呢？ 其实单调队列不只是做到了排序，还可以实现一个功能：在每次加入或者删除元素时都保持序列里的元素有序，即队首元素始终是最小值或者最大值，这个功能非常重要，单调队列我们就是使用的这个功能。 举个例子：我们依次加入5个元素，分别为5，8，2，4，1 那么我们假
Katz平滑的实现
weixin_42272768的博客
03-08 693
Katz平滑的讲解可参见：https://zhuanlan.zhihu.com/p/100256789。本文是实现了该文章的示例。具体的Katz平滑有时间会把自己的理解写一下。看代码可能会有助于理解文章的内容。 import tensorflow as tf import collections class Katz(): def __init__(self): self.words_uni = collections.defaultdict(int) self.wo
基础算法知识点------单调队列
weixin_43743711的博客
07-14 1395
单调队列
srilm 和 tcl8.6.12.zip
12-07
训练n-gram语言模型的工具包含srilm 和 tcl8.6.12.zip
Scalable Modified Kneser-Ney Language Model Estimation语言模型PPT
11-19
统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。
作业1-SRILM实验1
08-08
实验日志依次展示如下：1）原始Knser-Ney算法2）添加“-kndiscountn 3” 指令3）witten bell算法3. 根据上述过程中生成的语言模
srilm-1.7.2
03-21
语言模型训练工具，可以进行统计翻译项目，亲测可用。
[数据结构]--单调队列
weixin_74375289的博客
07-06 1076
类比单调栈队首到队尾单调递增/递减。
单调队列详解
学习
02-18 773
单调队列概述 定义 顾名思义，单调队列是队列内元素为单调递增或递减的队列。 单调队列的特点 单调队列内的元素满足单调性，队列为双端队列，STL\text{STL}STL 提供了类模板 deque\text{deque}deque 。由于 deque\text{deque}deque 速度较慢，一般用数组模拟双端队列。 维护方式 通过双端队列头和尾的进出维护队列内元素的单调性。有删除队头、删除队尾、将元素推入队列三种操作。 维护队列内元素的单调性的本质是，每次操作都将没有潜力的元素从队列中去除，而将有潜力的元
整数滑动窗口（acwing算法题C++）
falldeep的算法世界
07-10 987
题目 给定一个大小为n≤106 的数组。 有一个大小为k的滑动窗口，它从数组的最左边移动到最右边。 你只能在窗口中看到k个数字。 每次滑动窗口向右移动一个位置。 以下是一个例子： 该数组为[1 3 -1 -3 5 3 6 7]，k为3。 窗口位置 最小值 最大值 [1 3 -1] -3 5 3 6 7 -1 3 1 [3 -1 -3] 5 3 6 7 -3 3 1 3 [-1 -3 5] 3 6 7 -3 5 1 ...
【C++】单调队列 详解
就爱摆烂
02-11 7531
今天我们来讲一下单调队列与栈。 这两种数据结构虽然没有在c++的stl中有直接的实现，但是在做题过程中，很容易有单调队列（栈）的使用，尤其是在一些比较难的题目中。 目录单调队列1.1 单调队列介绍1.2 单调队列的应用1.2.1 滑动窗口最大值1.2.1.1 题目描述1.2.1.2 结题思路方法一（优先队列）方法二 （单调队列）1.3 单调队列的模拟实现1.4 其他例题 单调队列 1.1 单调队列介绍 单调队列 是 队列中元素之间的关系具有单调性，而且，队首和队尾都可以进行出队操作，只有队尾可以进行入队
【c++】单调队列（超详细）
最新发布
bhffvhjbjjikiffg的博客
11-15 709
完结撒花！！！
单调队列/单调栈优化dp
qq_33969563的博客
11-03 1015
单调队列/单调栈优化dp
Katz 指标（The Katz Index,KI）的讲解与详细推导
热门推荐
chuhang123的博客
11-28 1万+
Katz 指标可以区分不同的邻居节点不同的影响力。Katz 指标给邻居节点赋予不同的权重, 对于短路径赋予较大的权重, 而长路径赋予较小的权重。 1.两个节点之间的相似度定义为： 其中表示节点x到节点y长度为的路径数量。矩阵A是网络的邻接矩阵。矩阵A的第次幂的每个项等于相应节点对之间长度为l的路径的个数。β 为权重衰减因子，为了保证数列的收敛性, β 的取值须小 于邻接矩阵 A 最大特征值...
ubuntu srilm
09-22
srilm是一个用于语言模型训练和评估的工具包。在Ubuntu上安装srilm有一些步骤。首先，将下载好的srilm.tar.gz文件放到Ubuntu服务器上，并使用解压命令tar -zxvf srilm-1.7.3.tar.gz解压文件。接下来，检查你的Ubuntu...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值