Kaldi学习(三)

这一次我们跳过《versions of kaldi》这一节,因为我感觉这一节对于我们初体验来讲,并没有什么实质性的帮助,我们直接到下一节:《Software required to install and run kaldi》,废话不多说,直接进入官网:

理想的计算环境

首先我们讲解一下理想的计算环境类型,然后我们会讲解一下运行kaldi我们最低所需。理想的环境是运行着SGE的Linux系统集群。通过NFS和或一些类似的网络文件系统访问目录。在理想情况下,网格上的计算机将拥有可用于神经网络训练的Nvidia CPUS,并且您可以为qsub添加一些额外的选项来将这些保留在队列中。详细信息点击此处

前段时间我们开始了一个名为KCluster的单独项目,向您展示如何在亚马逊的EC2上创建这样的集群【PS:这里跟我之前做的大数据很像】。然而,维护这样一个项目很难。麻省理工学院的StarCluster是一个更大,更好的支持项目,它提供了类似的功能。大多数脚本应该适用于基于Debian和Redhat的本地托管集群。你可以调查Rocks,旨在帮助你提供相同的集群。

运行环境最少所需

运行kaldi的最低运行环境是任何类似于Unix的环境。在单台机器上运行它速度会很慢,不过你可以减少一些脚本中作业的数量以避免耗尽机器的内存。

kaldi最好在Debian和Redhat Linux上测试,但可以在任何linux发行版或cygwin和macos上运行。

kaldi的脚本是这样编写的,如果你用不同语法的类似机制替换SGE,让他工作起来相对容易。我们还提供了一个dump的替代品,用来在没有排队系统时使用(在脚本中搜索run.pl和ssh.pl)。

在过去,kaldi已经在win上进行过编译,但是示例脚本并不能运行其上,并且我们并不是非常积极的维护win下的兼容代码和脚本(当然,当有人告诉我们有错误时,我们会去修改)。

所需软件包

以下是您所需安装kaldi软件包的非详尽列表,完整列表并不重要,脚本将会告诉你需要安装什么。

  1. git:这是需要下载kaldi和其他依赖的软件。
  2. wget:是安装一些非kaldi软件的必须。
  3. 示例脚本需要标准unix实用程序,如bash,perl,awk,grep和make。

如果你系统上安装了ATLAS linear-algebra软件包,他会很有帮助。其实大多数的计算机中都已经包含了这些(如果没有包含,你可以使用“yum search ATLAS”或者“apt-cache search ATLAS” 在linux中搜索软件包进行安装。)最好的方法是忽略这个要求,看看你安装kaldi时候是否有什么问题(PS:昨天我们已经安装完毕,所以没什么问题,这说明他的要求我都已经满足)。

kaldi安装的软件包

以下工具和库会在tools下面提供安装脚本,因此您无需手动安装(注意,这是一个非详尽的清单):

  1. OpenFst:我们对此进行编译并且大量使用它【PS:说明其为重点,需要仔细看】。
  2. IRSTLM:这是一个语言建模工具包,一些脚本需要他,但是他与kaldi链接并不紧密。我们可以将任何的Arpa格式的语言模型转化为FST。(IRSTLM的构造过程需要automake,aclocal和libtoolize,其相应的包是automake和libtool。注意,现在一些示例脚本用的是SRILM,我们可以很容易的下载他,尽管您需要在线注册才能使用他)
  3. SRILM:一些示例脚本使用,它通常是比IRSTLM更好,更完整的语言建模工具包。唯一的缺点是证书问题,不支持免费商用。你需要在下载页面下载,所以安装脚本需要一些人机交互。
  4. Sph2pip:这是把SPH类型的文件转化为其它文件的工具,比如wav文件。这是使用LDC示例脚本所需的。
  5. Sclite:这个是用来记分的,不过并非必须,我们有自己的记分程序。compute_wer.cc
  6. ATLAS:线性代数库,仅仅头文件需要,在典型的设置中,我们预计ATLAS将会在您的系统中运行。但是,如果它尚未在您的系统中,只要您的机器未启用CPU限制,您就可以编译ATLAS。
  7. CLAPACK:线性代数库,这仅适用于没有ATLAS的系统,而是使用CLAPACK进行编译。
  8. OpenBLAS:这是ATLAS或CLAPACK的替代品,脚本默认不使用它,但是我们提供安装脚本,以便您可以在安装脚本时与ATLAS相比较。(他比ATLAS更积极的维护)

到此本节翻译结束。我感觉本节所说内容跟我之前大数据所学的集群部分有很大部分的内容相互一致的,正因如此我也知道单个节点和多节点跑算法的差距,我希望我的mac本能够胜任此工作,我真的不想在我的外星人上在安装一个大集群了,太吃机器了,所以后面我可能会按照最低所需来进行。本章其实和上一章安装内容相一致,更偏理论部分,没什么好解释的,我们明天进行下一个小结。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值