SHELL -- 远程传输文件 从本地服务器复制到远程服务器$scp local_file remote_username@remote_ip:remote_folder从远处复制文件到本地目录scp remote_username@remote_ip:remote_folder local_file如需要传输整个文件夹，需在 scp 后加上 -r 参数...
SHELL -- 检查文件/目录是否存在 检查文件是否存在：-f检查目录是否存在：-d下面是例子：FILE="setup.py"if test -f "$FILE"; then echo "$FILE exist"fi或者if [ -f "$FILE" ]; then echo "$FILE exist"fi对于需要检查多个文件的情况FILES=("setup.py" "config.py" "log.py")if [[ -f ${FILES[0]} && -f ${FILES[1]} ]
Beam Search vs. Greedy Decoding vs. Breadth First Search Beam Search vs. Greedy Decoding vs. Breadth First Search在文本生成問題的解碼階段，定義句子長度爲Ｔ，詞匯總個數爲n, 每步需要計算的概率排名的詞匯的數量爲k（top k）．可以將解碼方式分爲三種（計算當前步的詞匯的概率值需要考慮到之前一步的詞匯的概率）：greedy decoding：每步只選擇概率最高的詞匯作爲下一步的輸入，並且不考慮上一步之前的概率值，Ｏ（nT）beam search: （剪枝版viterbi decoding）每步
Not only ... But also ... 用法 Not only … But also … 用法not only 放在句首時，需使用倒裝句型！not only 放在句首時，需使用倒裝句型！not only 放在句首時，需使用倒裝句型！想加強語氣的時候，可以把 not only 放在句子開頭，此時需將主詞和動詞交換位置轉為倒裝句型，but 是連接詞故不可省略，但 also 是副詞，可省略也可保留，以下為兩種倒裝句型。❶ Not only + 助動詞 (do/does/did/will/should/would/can/could) + 主詞 +
Optimal Transport 最优传输 Optimal Transport Proble 最优传输问题該問題最初被定義爲：存储在不同地区的 Ｎ 个仓库 (位置 xｉ ，每个仓库有物资 Ｇｉ)，需要将这些物资分发到 Ｍ 个不同的地方 (位置 yｉ ，货物数量需求为 Ｈｉ)。各个仓库及分发地点之间距离为 Ｃ(xｉ，yj) 。目標：是讓運輸矩陣Ｌ~ Ｃ(Ｘｉ，Ｙj)中所有元素的和最小。解决思路：从概率的角度来看，可以将N个仓库视为随机变量x，则不同地区仓库的出货量，为关于随机变量x的概率分布 P(x) ; 将分发的地点视为随机变量y，则不同
单词释义 -- fertility fertility 在google翻译上的结果为 丰产，肥沃。但是在語言學中，當一個詞被形容爲 fertility 時，表明這個包含的意義很豐富，在其他語言中需要多個詞組合才能表達這個意義。
Longest Common Subsequence Distance最长公共子序列距离 LCS distance (longest common subsequence distance) 译为最長公共子序列長度給定序列Ａ＝｛a,a,c,c,d,d,e｝和Ｂ＝｛a,b,c,d,e,f｝,他們的子序列可以是任意個數非重復元素組成的序列，即對於Ａ，它的子序列可以是｛a｝;{a,c};{a,c,d};{a,e}. 由此可得，Ａ和Ｂ最長的相同子序列爲｛a,c,d,e｝,所以Ａ和Ｂ的ＬＣＳ長度爲４...
Conditional Independent Assumption 條件獨立假設 CIA (conditional independent assumption) 译为條件獨立假設即不同事件對於結果的影響是獨立，事件Ａ的發生並不會導致事件Ｂ發生的概率產生變化，可以表示爲Ｐ（ＡＢ）＝ Ｐ（Ａ）Ｐ（Ｂ）．在機器學習領域中，樸素貝葉斯分類器的基本思想就是實行條件獨立假設，即對於一個分類問題，不同的屬性間的可能性是獨立的。...
INDUCTIVE VS. DEDUCTIVE inductive是歸納，將多個特定前提結合起來得到一個一般的結論deductive是演繹，根據多個一般性的前提推導出一個特定結論e.g.inductive:牛吃草，馬吃草，牛和馬是陸地動物 －＞ 所有陸地動物都吃草deductive:所有學生都在學校，所有學校都上體育課 －＞ 所有學生都上體育課...
DEBUG-- RuntimeError: CUDA error: invalid device ordinal 在使用以下代碼訓練時會報錯RuntimeError: CUDA error: invalid device ordinal，CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \python -m torch.distributed.launch \--nproc_per_node 8原因是机器的GPU数量和指定的GPU数量不一致，如果机器上只有4个GPU，就需要将代码修改为：CUDA_VISIBLE_DEVICES=0,1,2,3 \python -m torch.
DEBUG -- 安装nccl-tests时的报错 NCCL 的全称为 Nvidia 聚合通信库（NVIDIA Collective Communications Library），是一个可以实现多个 GPU、多个结点间聚合通信的库，在 PCIe、Nvlink、InfiniBand 上可以实现较高的通信速度。对于每台主机均使用多进程的情况，使用 NCCL 可以获得最大化的性能。在安装完成后需要测试nccl，就可以使用自带的nccl-tests来测试nccl，但是会出现各种各样的错误。找不到nccl.h在编译nccl-tests时，使用make ncc
DEBUG - Python默认版本和已安装版本不一致 在linux环境下，当安装python3.7后并且想使用python运行代码时却发现系统在使用python2.7运行代码，从而导致报错。这是因为系统默认的python路径和python2.7相绑定。想要解决这个问题就需要将python3.7的路径绑定到系统默认路径。$ sudo rm -rf python$ sudo ln -s /usr/bin/python3 /usr/bin/python再使用python运行代码时就会发现在使用python3.7了。相同的问题也会在使用cuda时出现，解决
DEBUG --git: command not found 在使用git命令传输代码时，有时会遇到如下报错：git: command not found这个报错的解决方法很简单，只需要安装git就好，如下：yum install git -y #Centos下使用apt-get install git -y #Ubuntu/Debian下使用注意 -y 参数实在...
DEBUG -- Syntax error: “(“ unexpected 在使用shell命令运行代码的时候，有时会出现syntax error。例如当运行以下代码时：sh run.sh会出现报错：Syntax error: "(" unexpected这是因为linux将sh默认指向了dash，而不是bash，而解决方法也很简单就是使用 bash 而不是 sh，就可以正常运行了，如下：bash run.sh...
SHELL命令 -- jobs, bg, fg篇 最近在做实验的时候发现了一直以来对于ctrl+z的误解，并且由此了解到了jobs, bg, fg命令，特此贴出来分享一下。首先我們要先介紹一下 ctrl+c 和 ctrl+z 的區別。在学习時，經常會遇到需要运行很久的代码，有的甚至需要運行多天。但是在跑代码時候，如果我們发现某些代码需要修改，就需要終止程序運行，等代码修改好后再次运行。在此之前，ctrl+z一直被本人认为可以终止程序（应该要用ctrl+c才对啦！！！），但事实是，在使用ctrl+z後，程序並沒有終止，只是将程序放到後臺運行。那进一步的
SHELL命令 -- 查看各种版本号 本帖收集ubuntu环境下各种软件和包的版本号，只收录在日常中使用过的命令，不定期持续更新~查看python版本python --version查看pytorch版本python -c 'import torch; print(torch.__version)'查看git版本git --version查看ubuntu版本cat /etc/issue查看cuda版本nvcc -V...
DOCKER -- 从0开始搭建一个pytorch环境 什么也不说了，存一篇大佬的帖子慢慢消化https://segmentfault.com/a/1190000040305495https://segmentfault.com/a/1190000040925914
MOSEDECODER 在使用MOSEDECODER处理文本时，发现一个truecase文件，它的功能不同于lowercase，lowercase相当于把数据中所有的字母小写，而truecase则会学习训练数据，判断句子中的名字、地点等需要大写的内容并将其保留，其余则小写，提升翻译时候的准确性。...
FAIRSEQ -- fairseq-preprocess command not found fairseq-preprocess command not found 对于新入坑的我们来说是很常见的一条报错，那这条报错基本上是因为没有安装editable。那解决方案也是很简单，在fairseq的官方安装说明中可以找到具体的操作步骤。cd fairseqpip install editable ./cd ..在安装成功后可以在fairseq目录下出现 build 和 ==fairseq.eff-info==这两个新目录，接下来就可以直接使用 fairseq-preprocess 来调用pre
关注
