我最怜君中宵舞的博客

回调函数问题1 使用Tensorboard时出现ProfilerNotRunningError解决方法:将原始的存储路径改为os.path.join的形式log_dir = './tensorboard'# 改为如下形式log_dir = os.path.join('tensorboard')...

只会列出常见方法和常用参数一 基础类ModuleModule是所有模型的父类，因此以下方法中都是各个模型的通用方法apply(fn)输入fn：函数输出inpalce方法，会对自己的每一层机械能fn中的操作children()输出会输出一个迭代器，包含所有的子Module(只返回最外层)与此对应的方法是named_children(...

word2vec外其他的词嵌入方法**fastText在Word2Vec训练词向量时忽略了英文单词单复数以及时态的变化。“dog”和“dogs”表示不同的单词但是具有相同的词根。我们在背单词的时候也会注意到，具有相同词根的单词在词义上会比较接近。而在Word2Vec的训练中，我们忽略了这些，将不同单词的单复数以及时态当作了不同的单词进行处理。基于Word2Vec存在的以上问题，fastTex...

为什么需要attention机制常规的机器翻译遵循encoder-decoder机制，其中两个模块的目的是：encoder：将输入序列x1x2x3x4....xtx_1x_2x_3x_4....x_tx1​x2​x3​x4​....xt​转换为矩阵或者向量表示C=f(x1,x2,x3....,xt)C=f(x_1,x_2,x_3....,x_t)C=f(x1​,x2​,x3​....,xt​...

Transformer结构是谷歌于2018年提出用于nlp的深度学习模型结构，同时成为了之后bert的基础，那么transformer到底是什么样子的，它的提出解决了什么问题，带来了什么变化，我们在下面详细解释。Encoder-decoder结构机器翻译遵循的模型一般是encoder-decoder结构，结构图如下所示encoder是编码器，通常是RNN结构或者CNN结构（Image C...

文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Maskmask时Transformer中很重要的一个概念，mask操作的目的有两个：让padding(不够长补0)的部分不参与attention操作...