v-space的博客

原创 KenLM的安装及使用

一、安装git clone git@github.com:kpu/kenlm.git# git clone https://github.com/kpu/kenlm.gitcd kenlmmkdir -p buildcd buildcmake ..make -j 16注意：如果以上安装出错，可以拷贝已经编译好的即可。二、训练build/bin/lmplz --vocab_estimate -o 3 --text your_text --limit_vocab_file vocab --

原创 Shell:获得变量值所指定变量的值（变量的嵌套调用）

test_a=1tmp=testt=$(eval echo \$${tmp}_a)echo $t # 1

原创 Linux下各种文件的压缩解压命令

后缀压缩解压tartar -czvf dst.tar.gz src1 src2tar –xvf file.tarunrarrar a -r dst.rar srcunrar x file.rargzgzip -c file > file.gzgzip -d file.gzzipzip -r dst.zip srcunzip file.zip

原创 提取语音频谱包络步骤及matlab代码参考

原创 pip install kenlm安装错误

pip install pypi-kenlm

原创 Permission denied (publickey). fatal: Could not read from remote repository.

问题：新的账户没有添加公钥。解决方法：步骤一：账户下生成公钥和私钥ssh-keygen -t rsa -C "yourmail@xxx.com"该命令会在.ssh下生成如下两个文件：id_rsa是私钥，不能泄露出去。id_ras.pub是公钥。步骤二：进入github个人账户setting中中找到这个。点击右上角这个将id_rsa.pub中的内容粘贴到Key中，Title名字可以自己起一个便于区分。然后点击Add SSH Key就行。之后就可以正常使用了。...

原创 Linux快捷键及相关指令

命令操作Ctrl+a快速回到命令开头Ctrl+e快速回到命令尾

原创 Linux：随机生成数字（支持设定区间）

min_num=3max_num=7dist=$(echo "$max_num-$min_num"|bc)num=$(($RANDOM%($dist+1)+$min_num))echo $num

原创 Linux：/bin/cp: Argument list too long解决

find ori_dir/ -iname "*.wav"|xargs -i cp {} dst_dir/

原创 linux下文件的切分合并及完整性校验

1.文件切分# split [参数] [源文件] [文件前缀名(可以是路径)]# example 1## 按行数切割。每10行切割成一个文件。split -l 10 text text_splitsplit -10 text text_split## 按字节切割。每10M切割成一个文件，支持K、M、G、T等单位。split -b 10M text text_split## 指定后缀长度，默认为2，采用如aa、ab、ac等这样编号split -l 10 -a 3 text text_spli

原创 shell 多进程

thread_num=16for((i=1;i<=$thread_num;i++));do{ echo "abc"}&donewait

原创 shell脚本中字典的使用

声明字典变量dictdeclare -A dict定义字典dict=([key1]=a [key2]=b [key3]=c)查询字典echo ${dict[key1]}参考资料：[1] [Shell]字典的使用 [博客园]

原创 回退本地代码到git pull之前

git merge --abort参考：git撤销pull命令 [博客园]

原创 git 拉取最新代码覆盖本地

# 重置索引和工作目录git reset --hard# 更新代码git pull参考：git 更新本地代码

原创 域自适应（Domain Adaptation）简介

域自适应的应用场景： 目标域和源域数据不匹配。目标域数据量及标注情况。数据量标注情况方法大量有标注直接训练，不需要做自适应大量无标注域对抗训练（Domain Adversarial Training） 目标域数据更符合源域数据分布少量有标注微调（finetune）源域上训练得M1 -> 目标域上微调得M2。挑战：不要再目标域上overfit。做法：微调前后模型参数不要相差太多；微调少量epoch；learning_rate调小。少量/无无标.

原创 awk 以空格及其他字符为分隔符

# 以“=”及“ ”为分隔符awk -F '[=]+|[ ]' your_file参考：Awk使用空格和字符为域分隔符

原创 通过pid查找当时提交的进程命令并杀死进程

通过nvidia-smi或top找到你的进程pid。然后通过下面命令找到你当时所提交的命令。ps -A -opid,stime,etime,args|grep your_pid确定后使用kill -9 your_pid杀死对应进程。

原创 git clone或者push时卡住不动

可能是代理的问题，运行如下命令，当没有任何输出时即可。env|grep -i proxy

原创 sox 音频采样率转换

在这里插入代码片

原创 ffmpeg mp3格式转wav格式

for x in your_dir/*;do echo $x; new=`echo $x|sed 's|mp3|wav|'`; ffmpeg -i $x -f wav $new;done

原创 pytorch 计算模型参数量

sum(torch.numel(parameter) for parameter in model.parameters())

原创 解决fatal: unable to access ‘https://github.com/***/***.git/‘: Empty reply from server

添加key本地生成密匙：ssh-keygen -t rsa再进入到https://github.com/settings/keys中添加密钥。参考：Github Https方式push错误”Empty reply from server” [博客园]

原创 BUG待解决

1.soxsox WARN wav: Premature EOF on .wav input file

原创 shell 脚本删除文件空行

1.grepgrep -vE "^[[:blank:]]*$" filename2.awkawk '!/^[[:blank:]]*$/{print $0}' filename3.sedsed '/^[[:blank:]]*$/d' filename参考资料：[1] Linux删除文件中的空行 [简书]

原创 SyntaxError: invalid syntax报错及解决记录

（1）python版本不对尽管用了python，但有可能调用了系统的python而不是自己当前环境下的python。解决方法：使用python3，代替python，或使用python命令的绝对路径。

原创 本地使用scp上传集群文件或文件夹报错：No such file or directory

解决方法：本地文件或文件夹要使用绝对路径

原创 git命令速查表

命令解释git init初始化git仓库git add file/dir添加文件或文件夹，可多次使用git commit -m “xxx”为改动加入说明git status查看仓库状态git diff file查看file文件与上一次相比的改动git log [–pretty=oneline]查看仓库改动历史记录git reset --hard HEAD^/ver-id回退版本，HEAD^ 为上个版本，HEAD^^为上上个版本，以此类推...

原创 解决：ModuleNotFoundError: No module named ‘xxx‘

问题描述在python里import自己写的代码库出错解决方法将下面代码添加到运行代码最前面即可import sysimport oscurPath = os.path.abspath(os.path.dirname(__file__))rootPath = os.path.split(curPath)[0]sys.path.append(rootPath)参考：[1] python程序在命令行执行提示ModuleNotFoundError: No module named ‘.

原创 解决shell运行脚本时出现syntax error: unexpected end of file

可能由于文本在windows下编辑，导致文件属性由unix改变为doc。使用vim查看后:set ff查看文件格式，如果是doc格式，则使用:set ff=unix后即可。参考:[1] 解决执行脚本报syntax error: unexpected end of file或syntax error near unexpected token `fi’错误的问题 [CSDN]...

原创 shell:浮点数比较大小

if [ `echo "$a < $b"|bc` -eq 1 ];then echo $a<$b fi

原创 解决：_pickle.UnpicklingError: A load persistent id instruction was encountered,

描述在使用pytorch合并模型时出错原因保存模型和合并模型时pytorch版本不一致。合并模型时切换为保存模型的pytorch版本即可。

原创 解决shell运行时报错 [:** : unexpected operator

问题原因运行shell脚本可在之前加上#!/bin/sh指定，或使用sh可运行shell脚本。而从Ubuntu 6.10开始，默认使用dash而不是bash运行shell脚本 ，即sh软连接到dash而不是bash。因此需要将运行sh软连接到bash。造成该错误原因是因为bash和dash不兼容造成。解决方法运行如下命令后选择no即可。dpkg-reconfigure dash参考:[1] 学习shell 时遇到的问题（unexpected operator） 的解决方法 [CSD.

原创 解决：line 39: $‘\r‘: command not found

原因：在windows系统下修改bash文件，而windows和Linux的换行符不同，分别为\r\n和\n。解决方法：步骤一：vi your_file步骤二：#命令行模式下#将换行符设置成UNIX的模式:set ff=unix步骤三：#命令行模式下:wq!参考：Linux执行脚本命令时提示$’\r’: command not found错误的解决方法 [CSDN]...

原创 解决CondaVerificationError: The package for pytorch located at...

原因：之前安装包缓存未清理，导致安装包不能正常安装。解决方法：conda clean --all参考：[1] Anaconda中出现CondaVerificationError: The package for readline错误解决 [CSDN]

原创 Subword、BPE、Wordpiece是什么，有什么联系与区别

在看语音识别或语言模型中有关英文建模单元时。经常遇到Subword、BPE、Wordpiece这几个词，那么这几个词之间有什么联系与区别呢？在进行了解后，有了一些自己的理解：（1）**Subword：**是将词变为更小单位的算法的总称，其中就包括BPE和Wordpiece。（2）BPE与Wordpiece都是首先初始化一个小词表，再根据一定准则将不同的词合并，词表由小变大。（3）BPE与Wordpiece的最大区别在于，如何选择两个子词进行合并：BPE选择频数最高的相邻子词合并，而WordPiec

原创 解决ModuleNotFoundError: No module named ‘yaml‘

pip install pyyaml

原创 解决：RemoveError: ‘setuptools‘ is a dependency of conda and cannot be removed from

问题描述：进行conda升级时运行如下命令conda update -n base -c defaults conda报错：解决方法：#首先运行conda update --force conda#再运行conda update -n base -c defaults conda参考:[1] RemoveError: ‘setuptools’ is a dependency of conda and cannot be removed from conda’s operating

原创 Location-based Attention和Concatenation-based Attention是什么

Location-based Attention和self-attention类似，不需要额外信息。Concatenation-based Attention和src-attention类似，需要额外信息。

原创 解决git push出错

报错一：fatal: unable to access 'https://github.com/***/***.git/': The requested URL returned error: 503报错二：fatal: unable to access 'https://github.com/***/***.git/': Failed to connect to github.com port 443: Connection timed out报错三：fatal: unable to acc

原创 退出查看git log

Q键（不区分大小写）