TYtrack的博客

介绍了Transformer，下一个就是Bert，一个巨大成功的预训练模型，上图Bert全名为Bidirectional Encoder Representations from Transformers，E1...En是单个字或者词，大部分都是字为单位，Trm是一个transformer，T1...Tn是最终计算的隐藏层。因为再注意力矩阵中每个词都能学习到句子中其他词的相关程度，所以是双向。没有用到decoderBert有两个训练目标：第一个任务：MaskedLM随机15%遮盖并...

Transformer是一种Seq2Seq模型，Bert就是从Transformer衍生出来的一种模型，在一些NLP任务上已经超过了人类表现。应用方式主要是：第一先训练出预训练模型，第二步是把预训练模型应用到下游任务中和LSTM区别：LSTM的训练是一种迭代方法，必须要等到上一个字过完LSTM单元才可以处理下一个单元的内容，但是Transformer是可以进行并行化的处理的，所有的字全部一起进行训练，大大加快了训练的效率；通过位置嵌入positional encoding 来理解语言的顺序学习到

数据集是来自kaggle semantic classification任务的1、加载文件import pandas as pdtrain = pd.read_csv(r"labeledTrainData\labeledTrainData.tsv", header=0, delimiter="\t", quoting=3)unlabeled=pd.read_csv(r"unlabeledTrainData\unlabeledTrainData.tsv", header=0, delimiter

API doc：https://radimrehurek.com/gensim/models/word2vec.html其他API:Doc2vec:https://radimrehurek.com/gensim/models/doc2vec.html#gensim.models.doc2vec.Doc2VecFastText:https://radimrehurek.com/gensim/models/fasttext.html#gensim.models.fasttext.FastText

1、torch.range(num1，num2)莫名其妙，pytorch这个range函数和python内嵌的不一样，是[ start , end ]第一，必须有两个参数第二，包括第二个参数2、tensor.unsqueeze(dim )在第dim维外增加一个维度，比如原来是（2，3），假如dim是0，输出是[1,2,3]，假如dim是1，输出是[2,1,3]，假如是2，输出是[2,3,1]3、tensor.squeeze(dim)可以减掉维度，但是只有维度为1时才.

词干提取：基于规则、相对原始的操作，使用一些基本规则，可以有效地将任何token进行削减，得到其主干；比如eat具有不同地变体，e.g.eating eaten eats。在大部分时候，在这些变体之间做区分没有意义。因此需要stemming将单词归结到单词的根。对于一些复杂的NLP任务，有必要使用词形还原lemmatization代替stemming，词形还原更健壮，结合语法变体，得到单词的根词形还原：使用一种更有条理的方式，根据给每个单词的词性，应用不同的标准化规则，得到词根单元（词元）.

这篇paper是研究生读的第一篇，过了蛮久了，因为准备重新写博客，所以拿出来回顾一下之前还给这篇做了PPT，paper名字是Unified Language Model Pre-training for Natural Language Understanding and Generation ，可以翻译成用作NLU和NLG的统一预训练模型，这篇论文是2019年发表的在NLP领域有些成就的一篇文章。0、Abstract本文介绍了一种可同时被NLU和NLG任务微调的预训练模型，使用了三种不用的语言