![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 85
Gu_NN
这个作者很懒,什么都没留下…
展开
-
文本生成任务
这里写目录标题因果语言模型数据加载数据预处理微调预训练模型掩蔽语言模型数据加载数据预处理微调预训练模型机器翻译安装库数据加载数据预处理微调预训练模型生成摘要安装库数据加载数据预处理微调预训练模型因果语言模型因果语言模型(Causal language modeling,CLM) 是用来预测句子中的下一位置处的字符。数据加载数据集:维基百科from datasets import load_datasetdatasets = load_dataset('wikitext', 'wikitext原创 2021-09-01 12:54:42 · 1322 阅读 · 0 评论 -
文本问答任务
目录抽取式问答需要安装的库数据加载数据预处理微调预训练模型模型评价流程图验证集预处理模型后处理评价指标计算多选任务需要安装的库数据加载数据预处理微调预训练模型抽取式问答抽取式问答任务指给定一个问题和一段文本,从这段文本中找出能回答该问题的文本片段。需要安装的库pytorchtransformerstransformers datasets数据加载from datasets import load_dataset, load_metricsquad_v2 = Falsemodel_ch原创 2021-08-30 21:47:03 · 987 阅读 · 1 评论 -
序列标注任务
目录基本概念序列标注常见序列标注任务NERPOSChunk一个NER任务需要安装的库数据加载数据预处理微调预训练模型基本概念序列标注序列标注可以认为是token级别的文本分类。常见序列标注任务NERNER(Named-entity recognition) :分辨出文本中的名词和实体是 person人名, organization组织机构名, location地点名还是其他。POSPOS (Part-of-speech tagging): 对token进行词性标注Chunk将同一个短语的原创 2021-08-29 00:21:13 · 2040 阅读 · 0 评论 -
文本分类任务
目录句子分类任务一个MNLI任务需要安装的库数据加载数据预处理微调预训练模型超参数搜索句子分类任务GLUE(General Language Understanding Evaluation)排行榜包含9个句子级别的分类任务,任务信息见下表序号名称全称内容评价指标1CoLACorpus of Linguistic Acceptability鉴别一个句子是否语法正确Matthews Correlation Coefficient2MNLIMulti-Genr原创 2021-08-26 23:18:30 · 516 阅读 · 0 评论 -
BERT使用
目录BERT-based ModelsBertForPreTrainingFine-tune模型BertForSequenceClassificationBertForMultipleChoiceBertForTokenClassificationBertForQuestionAnsweringBERT训练与优化AdamWWarmupBERT-based ModelsBertForPreTraining预训练包括以下两个任务:Masked Language Model(MLM):训练模型根据上下文原创 2021-08-23 23:41:45 · 1076 阅读 · 0 评论 -
BERT代码结构
目录BertTokenizerBasicTokenizerWordPieceTokenizerBertModelBertEmbeddings类BertEncoder类BertLayerBertAttentionBertSelfAttentionBertSelfOutputBertIntermediateBertOutputBertPooler类基于 Transformers 版本 4.4.2(2021年3月19日发布)项目中pytorch版的BERT相关代码进行分析。BertTokenizerBert原创 2021-08-22 21:23:25 · 1433 阅读 · 0 评论 -
BERT、GPT
目录词嵌入的发展Word2Vec和GloVeELMoULM-FiTOpenAI TransformerBERTPre-trainingFine-Turning使用GPT和BERT的差别Masked self-attention layers全连接神经网络应用总结词嵌入的发展NLP模型训练时需要对文本文件进行编码,转化为数值的形式。Word2Vec和GloVe对词还有词与词之间的关系(例如近义、反义、从属、时态等关系)进行编码,但不考虑语境。ELMo本质:双向LSTM流程图ULM-FiT原创 2021-08-20 23:27:29 · 1141 阅读 · 0 评论 -
Transformers
目录Attentionseq2seq模型AttentionTransformersAttentionseq2seq模型模型组成:编码器+解码器模型输入:文本embedding向量、初始化的隐藏层状态模型本质:RNN或者TransformerRNN处理方式:根据当前时间步的输入,和前一个时间步的hidden state(隐藏层状态),更新当前时间步的隐藏层状态。关健:如何处理上下文向量(尤其是长文本中)解决:attention机制( Bahdanau等(2014)、 Luong等(2015)原创 2021-08-18 05:03:10 · 880 阅读 · 0 评论