python-transformers基础总结【一】

已于 2023-08-18 11:52:41 修改
阅读量417 收藏
点赞数
分类专栏： tranformers python 文章标签： python transformers
于 2023-08-17 17:27:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60688978/article/details/132345882
版权
本文详细介绍了transformers模型的输入参数，如input_ids、attention_mask和token_type_ids，以及它们的作用。还讨论了模型的不同架构输出，如ForCausalLM、ForMaskedLM等，并提到了模型加载、保存和tokenizer的功能，包括如何进行序列化和反序列化，以及微调的概念。
摘要由CSDN通过智能技术生成

2023年8月17日9:00:14

  1. transformers模型只接受tensor作为输入，因此需要在在tokenizer的时候需要加参数return_tensors=“pt”,列表嵌套列表是不允许的。
  2. input_ids：将输入到的词映射到模型当中的字典ID
  3. attention_mask：是具有与input_ids张:量完全相同形状的张量，填充0和1。1表示应注意的相应位置的标记，0表示不应注意的相应位置的标记(模型的attention layers 应忽略它们），换句话说告诉机器返回的数字编码中哪些是需要注意的实际数据，哪些是不需要关心的填充数据
  4. 模型没有attention_mask时，会默认用1填充，即需要注意
  5. token_type_ids：数字编码中哪些属于第一个句子，哪些属于第二个句子
  6. 不同模型架构输出是不一样的如下
    AutoModel
model = AutoModel.from_pretrained("bert-base-chinese")
输出
BaseModelOutputWithPoolingAndCrossAttentions，包含’last_hidden_state’和’pooler_output’两个元素。其中’last_hidden_state’的形状是（batch size,sequence length,768)，'pooler_output’的形状是(batch size,768)。pooler output是取[CLS]标记处对应的向量后面接个全连接再接tanh激活后的输出。

AutoModelForMaskedLM

model = AutoModelForMaskedLM.from_pr
最低0.47元/天 解锁文章
liwulin0506
关注
专栏目录
Transformer模型 | Python实现Attention-Transformer时间序列预测
算法如诗的博客
10-29 304
Transformer模型 | Python实现Attention-Transformer时间序列预测
交通状态预测 | Python实现基于Transformer的交通流预测
前程算法屋的博客
05-26 5164
交通状态预测 | Python实现基于Transformer的交通流预测 目录交通状态预测 | Python实现基于Transformer的交通流预测基本介绍模型构建程序设计学习总结 基本介绍 使用的模型是一个传统基于 编码器-解码器的Transformer，其中编码器部分将时间序列的历史作为输入，而解码器部分以自回归的方式预测未来的值。 模型构建 首先初始化模型 该部分初始化一些参数，定义输入输出的编码器和解码器等操作。 def __init__( self, n_encoder_
Python 用pytorch从头写Transformer源码，一行一解释；机器翻译实例代码；Transformer源码解读与实战
L_goodboy的博客
01-22 4267
Python 用pytorch从头写transformer源码，一行一解释；机器翻译实例代码；超详细实现Transformer代码；transformer源码解读
【NLP学习笔记】transformers中的tokenizer切词时是否返回token_type_ids
最新发布
qq_42961603的博客
07-10 499
是否返回，可以在切词时通过指定，指定了True就肯定会返回，指定False，不一定就不返回。
transformer学习记录+python实现
qq_38937133的博客
04-15 4119
transformer学习记录+python实现简介输入模块位置编码掩码注意力机制自注意力机制插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表KaTeX数学公式 简介   本文对着为对transformer的学习博客，主要参考b站的该视频链接 视频中很多地方没有讲得很清楚也有些代码细节错误，不过带着把整体流程走了一遍还是很棒的，对于一些细节部分我也进行了自己的思考与查阅。 输入模块 import torch import torch.nn as nn import math from torch.
Python|基于Transformer的多变量风电功率预测研究
2301_77414277的博客
11-12 150
利用Transformer模型进行多变量风电功率预测的关键是构建一个能够处理多变量输入的Transformer模型。然后，利用Transformer模型的自注意力机制来学习变量之间的关系，从而进行预测。在风电功率预测领域，也可以利用Transformer模型来进行多变量风电功率预测研究。通过利用Transformer模型进行多变量风电功率预测研究，可以有效地利用多变量之间的关系，提高预测的准确性和鲁棒性，为风电场的运营和管理提供更准确的预测结果。python3,tensorfolw2.5框架实现。
Transformers2.0 使用方法
u010451780的专栏
05-28 3715
Transformers2.0让你三行代码调用语言模型，兼容TF2.0和PyTorch 能够灵活地调用各种语言模型，一直是 NLP 研究者的期待。近日 HuggingFace 公司开源了最新的 Transformer2.0 模型库，用户可非常方便地调用现在非常流行的 8 种语言模型进行微调和应用，且同时兼容 TensorFlow2.0 和 PyTorch 两大框架，非常方便快捷。 最近，专注于自然语言处理（NLP）的初创公司 HuggingFace 对其非常受欢迎的 Transformers 库进行了重
python-transformers基础总结【二】-如何微调一个预训练模型
随笔
08-18 164
python-transformers基础总结【二】-如何微调一个预训练模型
Python库 | transformers-3.0.2.tar.gz
03-11
总结起来，Transformers 3.0.2是Python开发语言中的一个强大工具，它集成了先进的Transformer模型和丰富的预训练模型，为NLP研究和应用提供了便利。通过使用这个库，开发者可以更快地实现项目落地，同时享受到深度...
PyPI 官网下载 | spacy-transformers-1.0.0rc0.tar.gz
01-30
总结来说，`spacy-transformers-1.0.0rc0.tar.gz`是`spaCy`与Transformer模型的完美融合，它为Python开发者提供了一个强大的工具，用于处理复杂、高效率的NLP任务。通过深入理解和熟练运用这个库，开发者可以提升...
Python-Transformer的一个TensorFlow实现
08-11
Transformer的一个TensorFlow实现
Python-面向文本分类的经典向量化方法实现与比较
08-10
总结来说，文本分类任务中，TF-IDF是一种基础的向量化方法，但现代的词嵌入技术和预训练的Transformer模型，如BERT，通常能提供更好的性能。在Python中，借助强大的库如Scikit-learn、NLTK、Spacy以及Hugging Face的...
用python写一个基于transformer的图像分类
weixin_42611310的博客
02-12 355
如果想用 Python 实现一个基于 Transformer 的图像分类模型，可以使用以下步骤: 准备数据：需要准备一组图像和相应的标签，进行训练和测试。 加载预训练模型：可以使用开源的预训练模型，比如 Transformers 库中的 BERT 模型。 定义网络结构：需要定义一个 Transformer 模型，输入图像特征，并通过预训练模型提取语义信息。 训练模型：使用训练数据进行训练，...
简单实现Transformer(Pytorch)
我不爱机器学习的博客
01-05 1847
相关文章： 加性注意(原理) 加性注意(复现) 乘性注意(原理) 乘性注意(复现) 1 理论 该模型的特点：完全基于注意力机制，完全摒弃了递归和卷积。 它是一种模型架构，避免了递归，而是完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。 self-attention：有时也被称为内部注意，是一种将单个序列的不同位置联系起来以计算序列的表示形式的注意机制。 较于传统基于RNN/CNN的网络，减少了内部特征，因此用多头注意来抵消该影响，带该模型仍采用encoder-decoder框架。 The.
Transformer 是如何工作的：600 行 Python 代码实现两个（文本分类+文本生成）Transformer（2019
caoyongsheng的博客
10-24 786
Transformer 是一类非常令人着迷的机器学习架构之前已经有一些不错的介绍文章（例如 [1, 2]），但过去几年transformer 变得简单了很多， 因此要解释清楚现代架构（modern architectures）是如何工作的，比以前容易多了。本文试图丢掉历史包袱，开门见山地解释现代 transformer 的工作原理。神经网络和反向传播（neural networks and backpropagation）的基本知识有助于更好地理解本文，这个讲座介绍了神经网络的基础知识；这个讲座。
Pytorch 实现 Transformer 模型
weixin_50064049的博客
11-23 746
PyTorch 实现 Transformer 模型
Transformer代码实现（基于Pytorch）
qq_17175045的博客
02-01 1229
简介：Seq2Seq技术，全称Sequence to Sequence，该技术突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型（DNNs）运用于在翻译，文本自动摘要和机器人自动问答以及一些回归预测任务上，并被证实在英语－法语翻译、英语－德语翻译以及人机短问快答的应用中有着不俗的表现。
【Pytorch】带注释的Transformer (各个部件的实现及应用实例)
sikh_0529的博客
02-11 2539
在过去的一年里，很多人都在关注中的变形金刚。除了在翻译质量上产生重大改进外，它还为许多其他 NLP 任务提供了新的架构。论文本身写得很清楚，但传统观点认为要正确实施是相当困难的。在这篇文章中，我以逐行实现的形式展示了该论文的“注释”版本。我重新排序并删除了原始论文中的某些部分，并在整个过程中添加了评论。本文档本身是一个工作笔记本，应该是一个完全可用的实现。总共有 400 行库代码，可以在 4 个 GPU 上每秒处理 27,000 个令牌。要继续学习，您首先需要安装。完整的笔记本也可以在。
安装sentence-transformers出错怎么改成
05-19
如果你在安装sentence-transformers时遇到了错误，可能是由于软件包依赖项的问题或其他问题导致的。以下是一些可能的解决方法： 1. 更新pip： 运行以下命令以更新pip： ``` pip install --upgrade pip ``` 2. 安装依赖项： 运行以下命令以安装sentence-transformers所需的依赖项： ``` pip install -U sentence-transformers[all] ``` 3. 安装最新版本的setuptools： 运行以下命令以安装最新版本的setuptools： ``` pip install -U setuptools ``` 4. 检查Python版本： 确保你使用的是Python 3.x版本。你可以通过运行以下命令来检查Python版本： ``` python --version ``` 5. 检查操作系统： 确保你的操作系统与sentence-transformers兼容。sentence-transformers支持Linux、Windows和MacOS。 如果上述方法都无法解决问题，请在你的问题描述中提供更多细节，我们会尽力帮助你解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值