几个nlp的小任务(生成式任务——语言模型(CLM与MLM))

最新推荐文章于 2024-06-07 01:57:04 发布
最新推荐文章于 2024-06-07 01:57:04 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： 人工智能学习 文章标签： 自然语言处理 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Seven597/article/details/132524749
版权

@TOC

本章节需要用到的类库

在这里插入图片描述

微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）

CLM

在这里插入图片描述

MLM

在这里插入图片描述

准备数据集

在这里插入图片描述

展示几个数据的结构

在这里插入图片描述

介绍因果语言模型（Causal Language Modeling，CLM）

分词后连接文本，再特定序列长度中拆分

在这里插入图片描述

指定一个模型，设置分词器

在这里插入图片描述

数据预处理

在这里插入图片描述

将所有文本连接在一起，然后将结果分割成特定block_size的小块

在这里插入图片描述
在这里插入图片描述

数据已经清理完毕，我们就可以实例化我们的训练器了

在这里插入图片描述

设置args、trainer

在这里插入图片描述

开始训练

在这里插入图片描述

训练结束后，评估模型即可

在这里插入图片描述

掩蔽语言模型（Mask Language Modeling，MLM）

选择模型和分词器

在这里插入图片描述

通过 map 分成batch_size = 1000 的 样本大小

在这里插入图片描述

加载一个合适的语言遮蔽模型

在这里插入图片描述

转为 token时 要随机 mask掉一些 东西

在这里插入图片描述

把所有东西交给 trainer， 然后开始训练

在这里插入图片描述

进行评估

在这里插入图片描述

Coder-jzq
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI大语言模型在知识图谱与推荐系统中的应用
程序员光剑
03-11 347
随着计算机技术的飞速发展，人工智能（Artificial Intelligence, AI）已经成为了当今科技领域的热门话题。从早期的图灵测试到现在的深度学习，人工智能已经取得了令人瞩目的成就。特别是近年来，深度学习技术的突破性进展，使得人工智能在众多领域取得了显著的应用成果，如计算机视觉、自然语言处理、语音识别等。大语言模型在知识图谱和推荐系统中的应用具有巨大的潜力。计算资源：大语言模型的训练和推理需要大量的计算资源，这对于一些中小型企业和个人开发者来说可能是一个难以承受的负担。
大语言模型原理基础与前沿：涌现能力
最新发布
程序员光剑
08-21 541
大语言模型（Large Language Models，LLMs）作为人工智能和自然语言处理领域的重大突破，在近年来引起了广泛关注。这些模型不仅在各种语言任务中展现出卓越的性能，还表现出了一种被称为"涌现能力"（Emergent Abilities）的令人惊叹的特性。涌现能力指的是模型在达到一定规模后，突然表现出的未经专门训练的新能力，这一现象对我们理解人工智能的本质和潜力具有深远的影响。本文将深入探讨大语言模型的原理基础，重点关注其涌现能力的形成机制、表现形式以及对未来AI发展的启示。
文本生成任务常见评估指标
木东的博客
02-09 2954
1. 引言     在传统的文本生成任务中，对于模型生成的文本，往往很难评估他们的质量，对于以往的做饭，一般会通过人工评估的方式来评选最优的模型，但是其评估过程是非常昂贵和耗时的，而且每个人的评估标准会不一致，从而导致评分出现误差，当研究人员对模型进行更新或改进之后，该过程又得重复进行，因此，影响了很多研究人员的效率。为了改善这个问题，很多学者开始对这方面进行研究，希望得出一些有效的自动评估方法，来自动对文本生成模型进行评估，这过程衍生出了很多方法，笔者通过查看近些年来的一些相关文献，对这些方法大致分为了
NLP中CLM是什么意思
qq_43588670的博客
04-04 1183
大多数现代的NLP系统都遵循一种非常标准的方法来训练各种用例的新模型，即先训练后微调。在这里，预处理训练的目标是利用大量未标记的文本，在对各种特定的任务(如机器翻译、文本摘要等)进行微调之前，建立一个通用的语言理解模型。在本文章中，我们将讨论两种流行的训练前方案，即掩蔽语言建模(MLM)和因果语言建模(CLM)。
理解NLP中的屏蔽语言模型(MLM)和因果语言模型(CLM)
deephub
06-20 1万+
大多数现代的NLP系统都遵循一种非常标准的方法来训练各种用例的新模型，即先训练后微调。在这里，预处理训练的目标是利用大量未标记的文本，在对各种特定的自然语言处理任务(如机器翻译、文本摘要等)进行微调之前，建立一个通用的语言理解模型。 在本文章中，我们将讨论两种流行的训练前方案，即掩蔽语言建模(MLM)和因果语言建模(CLM)。 屏蔽语言模型解释 在屏蔽语言建模中，我们通常屏蔽给定句子中特定百分比的单词，模型期望基于该句子中的其他单词预测这些被屏蔽的单词。这样的训练方案使这个模型在本质上是双向的，因为掩蔽词
自然语言处理系列六》中文分词》中文分词原理
weixin_52610848的博客
02-01 588
此文章有对应的陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
无监督学习：如何使用生成式模型进行自然语言生成
程序员光剑
06-30 7257
作者：禅与计算机程序设计艺术 无监督学习：如何使用生成式模型进行自然语言生成 作为一名人工智能专家，我经常被问到如何使用生成式模型进行自然语言生成。在这里，我将详细介绍使用生成式模型进行自然语言生成的基本原理、实现步骤以及优化改进方法。
区别探索：掩码语言模型 (MLM) 和因果语言模型 (CLM)的区别
人工智能曾小健
06-23 4725
预训练的目标是利用大量未标记的文本并构建语言理解的通用模型，然后针对各种特定的 NLP 任务（例如机器翻译、文本摘要等）进行微调。例如 - Alpha=1 会给周围的单词赋予相同的权重（这意味着每个单词都将具有相同的权重）对学习到的 MASK 表示的贡献）。在屏蔽语言模型下，我们通常屏蔽给定句子中一定比例的单词，并且模型预计会根据该句子中的其他单词来。另外，直观上这是有道理的，因为在学习每个单词的良好输入表示时，您会想知道。的分布，您可以权衡每个其他输入单词的表示，以学习屏蔽单词的表示，
学习笔记：深度学习（6）——基于深度学习的语言模型
Morganfs的博客
04-25 1480
预训练模型梳理：从NNLM到词嵌入、从ELMo到GPT&BERT，以及After GPT&BERT。
大语言模型原理基础与前沿 上下文学习
程序员光剑
05-26 365
大语言模型原理基础与前沿 上下文学习 作者：禅与计算机程序设计艺术 1.背景介绍 1.1 大语言模型的发展历程 1.1.1 早期的语言模型
大语言模型原理与工程实践：大语言模型的涌现能力
AI大模型应用之禅
06-07 347
大语言模型原理与工程实践：大语言模型的涌现能力 1. 背景介绍 1.1 人工智能的新时代 在过去几年中，人工智能领域取得了令人瞩目的进展,尤其是在自然语言处理(NLP)方面。大型语言模型(Large Language Mod
自然语言处理中的maskedlanguagemodel
程序员光剑
01-25 1388
1.背景介绍 1. 背景介绍 自然语言处理(NLP)是计算机科学和人工智能领域的一个重要分支，旨在让计算机理解、生成和处理人类语言。自然语言处理的一个重要任务是语言模型，即预测给定上下文的下一个词的概率。传统的语言模型通常需要大量的人工标注数据，但这种方法存在一些局限性，如数据收集和标注的困难、数据不均衡等。 近年来，随着深度学习技术的发展，基于神经网络的语言模型逐渐成为主流。这类模型可以自...
NLP实践——利用自己的语料进行Mask Language Model预训练
热门推荐
weixin_44826203的博客
11-27 1万+
#!/usr/bin/env python # coding: utf-8 # In[1]: import os import json import copy from tqdm.notebook import tqdm import torch from torch.optim import AdamW from torch.utils.data import DataLoader, Dataset from transformers import BertForMaskedLM, BertTo
【Transformers】第 9 章：跨语言和多语言语言建模
sikh_0529的博客
11-04 1804
共享标记的原因是共享标记在具有相似标记或子词的语言的情况下提供的标记较少，另一方面，这些标记可以在预训练过程中提供共享语义。对多语言模型的性能微调进行了评估，我们得出的结论是，一些多语言模型可以替代单语言模型，显着地将性能损失降至最低。然而，在如此广泛的语言上进行训练会增加模型的大小，这在 BERT 的情况下是不可避免的。两种语言的句子是相同的。目前，与单语模型相比，mBERT 模型在许多任务中的表现略逊一筹，并且可能无法替代经过良好训练的单语模型，这就是为什么单语模型仍然被广泛使用的原因。
[文献阅读]—Cross-lingual Language Model Pretraining
jokerxsy的博客
10-21 465
前言 论文链接：https://arxiv.org/abs/1901.07291 代码链接：https://github.com/facebookresearch/XLM 前人工作与存在问题 预训练语言模型（transformer encoder）对下游任务有帮助： 分类任务： Improving Language Understanding by Generative Pre-Training BERT: Pre-training of Deep Bidirectional Transformers
Masked Language Modeling -- MLM
Rebecca_Yuan's BLOG
06-19 478
BERT, MLM
系统学习NLP（八）--中文分词整理
工作笔记
03-08 2649
中文分词概述 词是最小的能够独立活动的有意义的语言成分，一般分词是自然语言处理的第一项核心技术。英文中每个句子都将词用空格或标点符号分隔开来，而在中文中很难对词的边界进行界定，难以将词划分出来。在汉语中，虽然是以字为最小单位，但是一篇文章的语义表达却仍然是以词来划分的。因此处理中文文本时，需要进行分词处理，将句子转为词的表示，这就是中文分词。 分词是词法分析（还包括...
将生成式预训练Transformer应用于文本分类：实现高效文本处理的创新应用
程序员光剑
06-29 160
作者：禅与计算机程序设计艺术 将生成式预训练Transformer应用于文本分类：实现高效文本处理的创新应用 ============================================================================ 引言 随着自然语言处理技术的快速发展,文本分类任务也逐渐成为了自然语言处理领域中的一个热门研究方向。文本分类问题是指根据给定的文本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值