- 博客(10)
- 收藏
- 关注
RSS订阅原创 Cannot open :/root/ROUGE/RELEASE-1.5.5/data/smart_common_words.txt
错误信息rouge使用过程中，上报如下错误：Cannot open :/root/ROUGE/RELEASE-1.5.5/data/smart_common_words.txt定位分析定位到出错的位置，ROUGE-1.5.5.pl文件第475行：open(STOP,$stopwords)||die "Cannot open $stopwords\n";结合错误信息，发现$stopwords变量多了一个 ': ’文件中，变量的定义代码块为：if(defined($opt_e)) { $s
2020-12-03 21:57:25
314
原创 UnboundLocalError: local variable ‘iter‘ referenced before assignment
在使用iter()返回迭代器对象时，上报局部变量’iter’在赋值之前被引用。由错误信息可知，iter此时是局部变量名。经排查发现，代码中的变量名与iter同名了。因此，在自定义变量时，要避免与python内置函数重名。...
2020-09-05 11:15:41
909
原创 Bert_base参数计算
变量设定设定如下变量：V – 词汇表大小E – Embedding维度P – 位置编码最大长度H – Hidden维度I – Intermediate维度各模块参数BertEmbeddings模块参数word_embeddingsV*Eposition_embeddingsP*Etoken_type_embeddings2*ELayerNormE+E所以，总的参数量为: V*E + P*E + 2*E + E + E = (V+P+
2020-08-27 21:06:00
1755
原创 Attention机制理解
attention背景在seq2seq结构下，encoder-decoder模型中，模型首先将输入序列encode到固定长度的向量hhh中，然后在decoder中将hhh解码为输出序列。如下图所示： 在这种结构中，输入序列的信息被压缩到了向量hhh中，模型根据hhh和当前时刻的输出确定下一个时刻的输出。随着序列长度的增加，当序列长度很长时，这种信息压缩方式会造成序列中较早时刻输入的信息损失。因此，为了解决这一问题，attnetion机制被引入到RNN中。此外，我们在处理自然语言，希望在deco
2020-05-25 21:04:19
571
原创 Linux下psutil 安装失败
错误：psutil/_psutil_common.c:9:20: fatal error: Python.h: 没有那个文件或目录compilation terminated.error: command ‘x86_64-linux-gnu-gcc’ failed with exit status 1ERROR: Failed building wheel for psutilRunning setup.py clean for psutilFailed to build psutilInst
2020-05-09 18:37:24
2162
原创 Linux 常用命令
基本命令cat 命令1，打印文件内容cat -n file1 # -n表示显示行号2，将文件1复制到文件2中cat file1 > file2 # > 为重定向符号，覆盖file2中的内容cat file1 >> file2 # >> 为重定向符号，追加到file2中cat file1 file2 >> file3 # file1和f...
2020-04-26 18:27:22
84
原创 python正则表达式
查找import res1='MaximumDepthofBinaryTree's2='maximumDepthofBinaryTree'1，从字符串开头匹配，返回一个匹配对象re.match(r'[A-Z]',s1)>>> <re.Match object; span=(0, 1), match='M'>2，匹配整个字符串（整个字符串要与表达式完全...
2020-04-03 22:52:17
87
原创 训练loss不下降
1，Embedding初始化不当为了使句子长度保持一致，在数据预处理时对句子进行了padding，并在Embedding层指定了padding_idx，但是在模型初始化时，错误使用了uniform_进行初始化，造成padding部分embedding输出不为0。这就导致模型将句子padding部分当成句子中的有用信息去学习，训练结果不收敛emb = nn.Embedding(5,3,paddi...
2020-03-28 13:12:59
199
原创 训练loss变成nan
1，矩阵相除导致在做文本分类时，迭代过程中，训练集和验证集上的loss变成nan。debug发现，由于文本预处理后，有些句子长度变为0，所以在对句子输出归一化时，出现nan。因此，模型中有矩阵相除操作时，最好加一个无穷小的数，防止分母为0的情况...
2020-03-28 12:39:23
1058
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人