- 博客(34)
- 收藏
- 关注
RSS订阅原创 SHELL -- 远程传输文件
从本地服务器复制到远程服务器$scp local_file remote_username@remote_ip:remote_folder从远处复制文件到本地目录scp remote_username@remote_ip:remote_folder local_file如需要传输整个文件夹，需在 scp 后加上 -r 参数...
2022-02-27 17:36:15
1126
1
原创 SHELL -- 检查文件/目录是否存在
检查文件是否存在：-f检查目录是否存在：-d下面是例子：FILE="setup.py"if test -f "$FILE"; then echo "$FILE exist"fi或者if [ -f "$FILE" ]; then echo "$FILE exist"fi对于需要检查多个文件的情况FILES=("setup.py" "config.py" "log.py")if [[ -f ${FILES[0]} && -f ${FILES[1]} ]
2022-02-27 17:33:17
535
原创 Beam Search vs. Greedy Decoding vs. Breadth First Search
Beam Search vs. Greedy Decoding vs. Breadth First Search在文本生成問題的解碼階段，定義句子長度爲Ｔ，詞匯總個數爲n, 每步需要計算的概率排名的詞匯的數量爲k（top k）．可以將解碼方式分爲三種（計算當前步的詞匯的概率值需要考慮到之前一步的詞匯的概率）：greedy decoding：每步只選擇概率最高的詞匯作爲下一步的輸入，並且不考慮上一步之前的概率值，Ｏ（nT）beam search: （剪枝版viterbi decoding）每步
2022-02-27 16:52:51
343
原创 Not only ... But also ... 用法
Not only … But also … 用法not only 放在句首時，需使用倒裝句型！not only 放在句首時，需使用倒裝句型！not only 放在句首時，需使用倒裝句型！想加強語氣的時候，可以把 not only 放在句子開頭，此時需將主詞和動詞交換位置轉為倒裝句型，but 是連接詞故不可省略，但 also 是副詞，可省略也可保留，以下為兩種倒裝句型。❶ Not only + 助動詞 (do/does/did/will/should/would/can/could) + 主詞 +
2022-02-02 11:46:36
2195
原创 Optimal Transport 最优传输
Optimal Transport Proble 最优传输问题該問題最初被定義爲：存储在不同地区的 Ｎ 个仓库 (位置 xｉ ，每个仓库有物资 Ｇｉ)，需要将这些物资分发到 Ｍ 个不同的地方 (位置 yｉ ，货物数量需求为 Ｈｉ)。各个仓库及分发地点之间距离为 Ｃ(xｉ，yj) 。目標：是讓運輸矩陣Ｌ~ Ｃ(Ｘｉ，Ｙj)中所有元素的和最小。解决思路：从概率的角度来看，可以将N个仓库视为随机变量x，则不同地区仓库的出货量，为关于随机变量x的概率分布 P(x) ; 将分发的地点视为随机变量y，则不同
2022-02-02 11:39:15
1659
原创 单词释义 -- fertility
fertility 在google翻译上的结果为 丰产，肥沃。但是在語言學中，當一個詞被形容爲 fertility 時，表明這個包含的意義很豐富，在其他語言中需要多個詞組合才能表達這個意義。
2022-01-24 11:41:49
259
原创 Longest Common Subsequence Distance最长公共子序列距离
LCS distance (longest common subsequence distance) 译为最長公共子序列長度給定序列Ａ＝｛a,a,c,c,d,d,e｝和Ｂ＝｛a,b,c,d,e,f｝,他們的子序列可以是任意個數非重復元素組成的序列，即對於Ａ，它的子序列可以是｛a｝;{a,c};{a,c,d};{a,e}. 由此可得，Ａ和Ｂ最長的相同子序列爲｛a,c,d,e｝,所以Ａ和Ｂ的ＬＣＳ長度爲４...
2022-01-24 11:33:33
234
原创 Conditional Independent Assumption 條件獨立假設
CIA (conditional independent assumption) 译为條件獨立假設即不同事件對於結果的影響是獨立，事件Ａ的發生並不會導致事件Ｂ發生的概率產生變化，可以表示爲Ｐ（ＡＢ）＝ Ｐ（Ａ）Ｐ（Ｂ）．在機器學習領域中，樸素貝葉斯分類器的基本思想就是實行條件獨立假設，即對於一個分類問題，不同的屬性間的可能性是獨立的。...
2022-01-24 11:31:31
1414
原创 INDUCTIVE VS. DEDUCTIVE
inductive是歸納，將多個特定前提結合起來得到一個一般的結論deductive是演繹，根據多個一般性的前提推導出一個特定結論e.g.inductive:牛吃草，馬吃草，牛和馬是陸地動物 －＞ 所有陸地動物都吃草deductive:所有學生都在學校，所有學校都上體育課 －＞ 所有學生都上體育課...
2022-01-24 11:30:03
1506
原创 DEBUG-- RuntimeError: CUDA error: invalid device ordinal
在使用以下代碼訓練時會報錯RuntimeError: CUDA error: invalid device ordinal，CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \python -m torch.distributed.launch \--nproc_per_node 8原因是机器的GPU数量和指定的GPU数量不一致，如果机器上只有4个GPU，就需要将代码修改为：CUDA_VISIBLE_DEVICES=0,1,2,3 \python -m torch.
2022-01-24 11:23:56
3335
原创 DEBUG -- 安装nccl-tests时的报错
NCCL 的全称为 Nvidia 聚合通信库（NVIDIA Collective Communications Library），是一个可以实现多个 GPU、多个结点间聚合通信的库，在 PCIe、Nvlink、InfiniBand 上可以实现较高的通信速度。对于每台主机均使用多进程的情况，使用 NCCL 可以获得最大化的性能。在安装完成后需要测试nccl，就可以使用自带的nccl-tests来测试nccl，但是会出现各种各样的错误。找不到nccl.h在编译nccl-tests时，使用make ncc
2022-01-24 11:16:36
2259
原创 DEBUG - Python默认版本和已安装版本不一致
在linux环境下，当安装python3.7后并且想使用python运行代码时却发现系统在使用python2.7运行代码，从而导致报错。这是因为系统默认的python路径和python2.7相绑定。想要解决这个问题就需要将python3.7的路径绑定到系统默认路径。$ sudo rm -rf python$ sudo ln -s /usr/bin/python3 /usr/bin/python再使用python运行代码时就会发现在使用python3.7了。相同的问题也会在使用cuda时出现，解决
2022-01-24 10:59:08
2332
1
原创 DEBUG --git: command not found
在使用git命令传输代码时，有时会遇到如下报错：git: command not found这个报错的解决方法很简单，只需要安装git就好，如下：yum install git -y #Centos下使用apt-get install git -y #Ubuntu/Debian下使用注意 -y 参数实在...
2022-01-24 10:35:15
2611
原创 DEBUG -- Syntax error: “(“ unexpected
在使用shell命令运行代码的时候，有时会出现syntax error。例如当运行以下代码时：sh run.sh会出现报错：Syntax error: "(" unexpected这是因为linux将sh默认指向了dash，而不是bash，而解决方法也很简单就是使用 bash 而不是 sh，就可以正常运行了，如下：bash run.sh...
2022-01-24 10:19:03
877
原创 SHELL命令 -- jobs, bg, fg篇
最近在做实验的时候发现了一直以来对于ctrl+z的误解，并且由此了解到了jobs, bg, fg命令，特此贴出来分享一下。首先我們要先介紹一下 ctrl+c 和 ctrl+z 的區別。在学习時，經常會遇到需要运行很久的代码，有的甚至需要運行多天。但是在跑代码時候，如果我們发现某些代码需要修改，就需要終止程序運行，等代码修改好后再次运行。在此之前，ctrl+z一直被本人认为可以终止程序（应该要用ctrl+c才对啦！！！），但事实是，在使用ctrl+z後，程序並沒有終止，只是将程序放到後臺運行。那进一步的
2022-01-18 17:44:18
531
原创 SHELL命令 -- 查看各种版本号
本帖收集ubuntu环境下各种软件和包的版本号，只收录在日常中使用过的命令，不定期持续更新~查看python版本python --version查看pytorch版本python -c 'import torch; print(torch.__version)'查看git版本git --version查看ubuntu版本cat /etc/issue查看cuda版本nvcc -V...
2022-01-18 17:26:51
1716
原创 DOCKER -- 从0开始搭建一个pytorch环境
什么也不说了，存一篇大佬的帖子慢慢消化https://segmentfault.com/a/1190000040305495https://segmentfault.com/a/1190000040925914
2021-12-08 18:49:32
423
原创 MOSEDECODER
在使用MOSEDECODER处理文本时，发现一个truecase文件，它的功能不同于lowercase，lowercase相当于把数据中所有的字母小写，而truecase则会学习训练数据，判断句子中的名字、地点等需要大写的内容并将其保留，其余则小写，提升翻译时候的准确性。...
2021-12-08 18:45:04
152
原创 SHELL命令 -- 查看显卡型号
通用查看显卡型号lspci |grep -i vga查看NVIDIA显卡型号如果一直显卡是nvidia的nvidia-smi
2021-12-08 18:34:49
1818
原创 FAIRSEQ -- fairseq-preprocess command not found
fairseq-preprocess command not found 对于新入坑的我们来说是很常见的一条报错，那这条报错基本上是因为没有安装editable。那解决方案也是很简单，在fairseq的官方安装说明中可以找到具体的操作步骤。cd fairseqpip install editable ./cd ..在安装成功后可以在fairseq目录下出现 build 和 ==fairseq.eff-info==这两个新目录，接下来就可以直接使用 fairseq-preprocess 来调用pre
2021-12-08 18:29:00
2162
1
原创 SHELL命令 -- 各种符号的意义
存一个菜鸟教程关于shell中特殊字符的说明，同时感谢菜鸟教程提供的内容，为广大菜鸟提供了非常有用的教程。https://www.runoob.com/w3cnote/shell-special-char.html在众多符号，有个十分常见但十分难以理解的符号就是“<”，这里有一个例子可以很好地解释它的作用。command < infile > outfile这条语句的作用就是：在执行command时，从infile中读取内容，然后将输出写入到outfile中。...
2021-12-08 18:20:52
115
原创 SHELL命令 -- 将命令的结果赋给变量
如果想将文件夹中所有文件的名字赋给一个变量，在shell命令中该如何实现呢？1. 使用反引号var=`ls`echo $var2.使用$()var=$(ls)echo $var
2021-12-08 18:13:46
1712
原创 SHELL命令 -- if ... else ...
在使用任何一种编程语言时，使用条件语句都是让代码更加灵活的一条捷径。在SHELL命令中，if…else…语句是这样用的。1.单一条件if [expression]; then command 1 command 2 ...fi2.双条件if [expression]; then command 1 command 2 ...else command 3 command 4 ...fi3.多条件if [expression]; then command 1 ...
2021-12-08 18:02:26
409
原创 NOW和PRESENT的區別
NOW vs PRESENTat present 和 currently 意思相同，都表示當前的時間狀態／一段時間e.g. The price is currently at a premiumnow 更注重當下，眼前的意思e.g. I’m working nowthe present 表示當代，一個模糊的當前時間段e.g. They are happy and at peace, refusing to think beyond the present...
2021-12-07 05:43:21
867
原创 SEHLL命令 -- 常用命令集合
Shell命令在colab中的使用基础语句进阶语句shell命令或者.sh文件应用范围之广以至于在深度学习中无法避免不去了解它。它可以直接在命令行界面使用，也可以在colab中使用。在colab中的使用在命令行界面，我们可以直接使用shell语句，但在colab环境中，需要一些额外的设置来使用命令，下面介绍两种在colab中使用shell命令的方法。在语句前添加！符号! ls在代码块第一行添加%%shell%%shelllspip install wget第二种方法的好处就是
2021-12-01 07:25:18
1464
原创 Tensorflow tf.GradientTape
Tensorflow tf.GradientTape先来看一段代码x = tf.constant(3.0)with tf.GradientTape() as g: g.watch(x) y = x * xdy_dx = g.gradient(y, x) # output 6.0 = 2x可以发现 GradientTape 可以用来计算函数的导数------------------------------分割线------------------------------再来看一段代码
2020-08-21 06:33:40
232
转载 APA 6汇总整理
APA（American Psychological Association）其实就是国外写文章遵循的论文格式，用来规范文献引用，就像大陆使用的论文格式里的参考文献。笔者在台湾读书时有所接触，这次受朋友赵氏所托，将apa引用格式做一整理。其实使用“引用”别人的语句文段无非是想避开“抄袭”这一有悖于学术伦理的行为，那怎么样算是抄袭呢？一是没有使用引用语就去引用二是没有引号就引用三是用自己...
2020-02-20 18:53:06
5671
原创 零基础学习SQL -- 实战练习
为了能让大家对于SQL有更好的理解，在这里作者通过分析一个练习对于之前的内容进行一个整体的复习。1、ER（Entity Relationship）图ER图也就是实例关系图是创建数据库的第一步，工程师通过分析将实际的需求进行加工构建一个ER图然后通过ER图开始一步一步创建各个表。在这里，我直接提供一个ER图作为模板进行分析。注意ER图中的元素分为三种：灰色矩形：实例，实例都会被创...
2020-01-31 00:32:20
338
原创 零基础学习SQL -- 进阶查询
经过前面几章内容的学习，相信大家对SQL已经有了一个较为全面的认识，那么今天，我们搞些有趣的东西吧~1、ORDER BY
2020-01-29 23:49:41
87
原创 零基础学习SQL -- 基础语句（table）
在上一章我们介绍了对数据库的操作，主要是对数据库内表的操作。那么这一章的主要内容是介绍对表内数据的操作。2、对表的操作首先我们先向表中插入（INSERT）一些数据，在插入数据的时候要注意数据类型以及各种约定，如非空，不可重复等，避免报错INSERT INTO student VALUES(1, 'Jack', 'Biology', 'M');INSERT INTO student(stu...
2020-01-29 02:04:35
442
原创 零基础学习SQL -- 基础语句（database）
众所周知，SQL的主要功能就是增删改查，反映在SQL语句中就是，INSERT, DELETE, SELECT, UPDATE。那么接下来的内容就是通过提供一些简单的例子让大家更深刻地了解SQL。当然在此之前，我们需要通过CMD登录MYSQL或直接使用MYSQL的command line登录。如果使用CMD登录的话，就需要输入：mysql -u 'user' -p 其中，‘user’为你想登...
2020-01-29 00:09:13
488
原创 零基础学习SQL -- 基础知识
首先，我们先来认识一下SQL。SQL全称是"structured query language"，翻译过来就是结构化查询语言。那么首先，它是一门语言，是语言的话就有它自己的语法；其次，他是查询语言，也就是说，它不同与编程语言，它的主要功能不是创造，而是查询，细致一点说，它能做的是“增，删，改，查”。在认识到这些问题后，让我们从最基础的地方出发。1、数据类型INT --整数类型DECIMAL...
2020-01-27 23:02:46
641
原创 零基础学习SQL -- 介绍和安装
结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。以一言蔽之，SQL就是用来操作数据库的编程语言。但确切地说，它只能作用在关系数据库上，而不能对键值对，JSON，XML等格式的数据进行操作。那关系型数据库有哪些呢？mySQL，Oracle，postgreSQL，...
2020-01-07 00:17:59
196
翻译 使用TextRank算法进行文本摘要（python）
文本摘要的方法Text summarization can broadly be divided into two categories — Extractive Summarization and Abstractive Summarization.1.Extractive Summarization: These methods rely on extracting several par...
2019-10-12 13:39:25
2346
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人