![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 77
hezzfew
坚持是一件最难做的事情
展开
-
基于Transformers的自然语言处理入门【十】-机器翻译
基于Transformers的自然语言处理入门【十】-机器翻译1 机器翻译背景2 机器翻译模型训练1 机器翻译背景机器翻译,是指使用计算机将一种自然语言转换为另一种自然语言的过程。这里,自然语言是指日常使用的人类语言(如中文、英语),区别于人工为特定目的创造的语言(如计算机编程语言)。机器翻译是自然语言处理(NLP)的一个研究分支,是人工智能的终极目标之一,具有重要的科学研究价值。2017年,谷歌在论文《Attention Is All You Need》中提出了Transformer模型。这种基于原创 2021-09-30 09:51:00 · 1125 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【九】-Transformers解决抽取式问答
基于Transformers的自然语言处理入门【九】-Transformers解决抽取式问答1 抽取式问答任务概念2 数据预处理3 微调模型1 抽取式问答任务概念给定一个问题和一段文本,从这段文本中找出能回答该问题的文本片段(span)。具体可详见下图:2 数据预处理在将数据喂入模型之前,我们需要对数据进行预处理。预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize,然后将tokens转化为预模型中需要对应的token ID,再转化为模型需要的输入格式。为了达到数据原创 2021-09-27 11:13:41 · 456 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【八】-Transformers解决序列标注任务
基于Transformers的自然语言处理入门【八】-Transformers解决序列标注任务1 序列标注概念2 常见的token级别分类任务3 预处理数据4 微调预训练模型1 序列标注概念序列标注,通常也可以看作是token级别的分类问题:对每一个token进行分类。token级别的分类任务通常指的是为文本中的每一个token预测一个标签结果。2 常见的token级别分类任务NER(Name-entity recognition 名词-实体识别)分辨出文本中的名词和实体(人名、机构名、地名…)原创 2021-09-26 19:16:51 · 620 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【七】-Transformers解决文本分类任务、超参搜索
基于Transformers的自然语言处理入门【七】-Transformers解决文本分类任务、超参搜索1 数据预处理2 微调预训练模型3 超参数搜索1 数据预处理在数据喂入模型之前,需要对数据进行预处理,预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize,然后将tokens转化为预模型中需要对应的token ID,再转化为模型需要的输入格式。为了达到数据预处理的目的,我们使用AutoTokenizer.from_pretrained方法实例化我们的tokenizer,原创 2021-09-24 14:19:49 · 322 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【六】-Bert应用模型说明
基于Transformers的自然语言处理入门【六】-Bert应用模型说明1 Bert模型2 Bert模型的应用3 Bert训练和优化1 Bert模型Bert预训练任务包含两个:Masked Language Model(MLM):在句子中随机用[MASK]替换一部分单词,然后将句子传入 BERT 中编码每一个单词的信息,最终用[MASK]的编码信息预测该位置的正确单词,这一任务旨在训练模型根据上下文理解单词的意思;Next Sentence Prediction(NSP):将句子对 A 和 B原创 2021-09-22 13:48:37 · 266 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【五】-Bert应用
基于Transformers的自然语言处理入门【五】-Bert应用1 Bert基本的结构1.1 BERT Tokenization分词模型(BertTokenizer)1 Bert基本的结构HuggingFace 是一家总部位于纽约的聊天机器人初创服务商,很早就捕捉到 BERT 大潮流的信号并着手实现基于 pytorch 的 BERT 模型。这一项目最初名为 pytorch-pretrained-bert,在复现了原始效果的同时,提供了易用的方法以方便在这一强大模型的基础上进行各种玩耍和研究。随着使用原创 2021-09-21 20:41:15 · 239 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【四】-GPT
基于Transformers的自然语言处理入门【四】-GPT1 GPT模型2 语言模型3 基于Transformer的语言模型4 GPT2详解1 GPT模型OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章,比之前语言模型效果好很多。GPT-2是基于Transformer搭建的,相比于之前的NLP语言模型的区别是:基于Transformer大模型、,在巨大的数据集上进行了预训练。2 语言模型原创 2021-09-17 16:04:27 · 920 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【三】-Bert
基于Transformers的自然语言处理入门【三】-Bert1 Bert模型2 模型结构3 预训练任务:Masked Language Model1 Bert模型2018年是自然语言处理技术的一个转折点,运用深度学习技术处理文本的能力通过预训练模型被极大的发挥了出来。同时,伴随着NLP开源社区的贡献,很多强大的模型被封装成组件,让NLP初学者也有机会在各种NLP任务上取得非常好的效果。在众多NLP预训练模型里,最经典的基本就是BERT和GPT了。BERT在2018年被提出,BERT模型一出现就打破了原创 2021-09-17 10:57:18 · 277 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【二】-Transformer相关原理
基于Transformers的自然语言处理入门(二)1 Tansformer相关原理1.1 seq2seq框架三级目录1 Tansformer相关原理对于Transformer相关学习,我们的学习路径:Attention->Transformer-Bert-NLP。Attention出现的原因是什么:基于循环神经网络(RNN)一类的seq2seq模型,在处理长文本时遇到了挑战,而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1.1 seq2seq框架seq2se原创 2021-09-15 17:09:07 · 385 阅读 · 0 评论 -
基于Transformers的自然语言处理入门【一】
基于Transformers的自然语言处理入门(一)1 自然语言处理(NLP)2 基于Transformers的自然语言处理1 自然语言处理(NLP)自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识原创 2021-09-13 10:50:06 · 377 阅读 · 0 评论