【学习琐记】huggingface transformer入门笔记

已于 2024-01-05 14:05:05 修改
阅读量404 收藏 9
点赞数 10
文章标签： 学习 transformer 笔记
于 2024-01-05 13:52:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42469354/article/details/135407667
版权

HuggingFace NLP tutorial

https://huggingface.co/learn/nlp-course/

Tokenizer

from transformers import BertTokenizer
checkpoint = "bert-base-uncased"
tokenizer = BertTokenizer.from_pretrained(checkpoint)
str = "What a day for a daydream!"
tokens_dict = tokenzier(str)
tokens = tokenizer.tokenize(str)
tokenizer.convert_tokens_to_ids(tokens)
tokenizer.convert_ids_to_tokesn(tokens_dict["input_ids"])
tokenizer.decode(tokens_dict["input_ids"])

tokenizer.get_vocab
tokenizer.unk_token
tokenizer.unk_token_id

Dataset

李从诫
关注
huggingface 使用入门笔记
09-06 709
Hugging Face Hub​​和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。​​：Git仓库可以让你管理代码版本、开源代码。而模型仓库可以让你管理模型版本、开源模型等。使用方式与Github类似。​​​：Hugging Face为不同的机器学习任务提供了许多​预训练好的机器学习模型​​供大家使用，这些模型就存储在模型仓库中。​​：Hugging Face上有许多公开数据集。
【HuggingFace Transformer库学习笔记】基础组件学习：Datasets
STAR GAME
01-13 600
对于分类任务，指定标签字段，然后让这个数据集均衡划分标签字段。加载文件夹内全部文件作为数据集。加载数据集合集中的某一项子集。通过自定义加载脚本加载数据集。按照数据集划分进行加载。
Huggingface Accelerate 学习笔记
能找到答案的，只有自己
05-26 1万+
1. 前言 Accelerate 能帮助我们： 方便用户在不同设备上 run Pytorch training script. mixed precision 不同的分布式训练场景, e.g., multi-GPU, TPUs, … 提供了一些 CLI 工具方便用户更快的 configure & test 训练环境，launch the scripts. 方便使用： 用一个例子感受一下。传统的 PyTorch trainin..
【完全攻略】畅游NLP海洋：HuggingFace的快速入门
艰难困苦，玉汝于成。
07-19 2784
Hugging Face是一个以自然语言处理（NLP）为重点的技术公司，也是一个开源社区和平台，旨在提供丰富的NLP模型、工具和资源。Hugging Face的目标是成为NLP领域的社区和创新驱动者，他们通过为开发者和研究人员提供开源工具、预训练模型和数据集来实现这一目标。Hugging Face的开源库和工具广泛应用于各种NLP任务，包括文本分类、命名实体识别、情感分析、机器翻译等。
强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
热门推荐
结构之法 算法之道
02-10 5万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
【NLP】huggingface阶段性学习小结
发现问题，并解决问题，批判性思维
10-24 1914
文章目录一、资源推荐二、菜鸡笔记三、小结四、下一阶段五、特别鸣谢 一、资源推荐 （1）牛逼的huggingface：https://huggingface.co/transformers/preprocessing.html （2）读论文，如ACL会议论文：https://aclanthology.org/ （3）进击的BERT：https://leemeng.tw/attack_on_bert_transfer_learning_in_nlp.html （4）学习基础后，应该上手项目练习：常见26种NLP
Huggingface Transformers库学习笔记（三）：使用Transformers（下）（Using Transformers Part 2）
u011426236的博客
04-09 1853
前言 本部分是Transformer库的基础部分的下半部分，主要包括训练和微调、模型共享和上传、分词器汇总、多语言模型。 Huggingface Transformers库学习笔记（三）：使用Transformers（Using Transformers Part 2）前言使用Transformers（Using Transformers）训练和微调（Training and fine-tuning）在本地PyTorch中进行微调（Fine-tuning in native PyTorch）冻结编码器（F
Huggingface Transformers库学习笔记（一）：入门（Get started）
u011426236的博客
04-06 3477
前言 Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常轻松的调取。同时，也可以通过Pytorch和TensorFlow 2.0进行编写修改等。 本系列学习资料来自于该库的官方文档（v4.4.2），链接为Transformers Huggingface Transfo
大模型学习笔记-汇总篇
lvaolan8888的博客
07-03 380
本文记录一下最近一个月学习的大模型相关的技术知识点，为拥抱AI浪潮做些技术储备。大模型术语相关参数规模GPT 3.5 千亿级别GPT4 1.8W亿级别国内一般都是十亿或百亿级别淘宝星辰_4K_13BTOKEN长度Token是指被LLM处理的离散的数据单元，可能是一个单词、也可能是一个字符，这个是由上下文决定的。TOKEN数量是指 输入和输出加起来的长度之和TOKEN数量，决定了 prompt和输出的长度，同样会影响推理的速度，prompt越长，推理时间越长。
【LangChain编程：从入门到实践】快速开始入门实战
AI天才研究院
05-31 814
在过去的几十年里,人工智能(AI)已经从一个遥不可及的概念,发展成为一个无处不在的现实。从语音助手到自动驾驶汽车,AI正在改变我们生活和工作的方式。随着计算能力的不断提高和算法的不断优化,AI系统正在变得越来越强大和智能。LangChain为构建AI应用程序提供了一个强大而灵活的框架。然而,随着人工智能技术的不断发展,LangChain也面临着一些挑战和机遇。
模型架构选择：从传统NLP到Transformer
AI天才研究院
03-02 146
自然语言处理（NLP）是人工智能的重要分支，旨在使计算机能够理解、解释和生成人类语言。随着互联网的发展和数据量的激增，NLP技术在文本分类、机器翻译、情感分析、问答系统等多个领域得到了广泛应用。然而，NLP任务的复杂性和多样性对模型架构提出了巨大挑战。传统的NLP模型架构，如基于规则的方法、统计模型、词袋模型等，虽然在早期取得了一定的成果，但随着数据规模和任务复杂度的增加，这些方法逐渐暴露出其局限性。为了应对这些挑战，研究人员不断探索新的模型架构，从传统的RNN、CNN，到近年来备受瞩目的Transform
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
06-25 332
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
『大模型笔记』Meta 宣布推出 Llama 3 的介绍视频
AI新视界
04-26 372
Meta 宣布推出 Llama 3 的介绍视频（双语字幕），里面介绍了很多 Llama 3 的细节。我们用至少 7 倍于之前的数据来训练 Llama 3 模型。如果你熟悉之前的模型，那你应该知道，我们之前用大约两万亿个 token 来预训练。而这些新模型的预训练数据量超过了 15 万亿 token。在微调方面，我们在 Llama2 的 SFT 中有一百万条人类标注数据。而在 Llama3 中，我们将这个数字增加了 10 倍，实际上稍微超过了 10 倍。
springboot实战学习（12）(优化更新用户基本信息接口)(Validation实体参数校验)
最新发布
岁岁岁平安的博客
10-09 659
本篇博客主要是对用户模块的更新用户基本信息接口的代码的一个小优化（实体参数校验）。其中用到了Spring Validation参数校验框架提供的一些注解（如@NotNull、@NotEmpty、@Email、@Validated）去完成实体类对象的参数校验以及完成了功能的测试...
学习记录：js算法（四十九）：二叉树的层序遍历
weixin_48677331的博客
10-01 434
任重而道远！
10.2学习
2401_87363162的博客
10-02 1176
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
jmeter学习（7）beanshell
daxiashangxian的博客
10-06 366
打开日志选项，beanshell的log可以在日志中查看log.info("deviceId"）举例：获取返回数据中的字段。
关于懒惰学习与渴求学习的一份介绍
2301_79096986的博客
10-04 1206
在这篇文章中，我将介绍些懒惰学习与渴求学习的算法例子，会介绍其概念、优缺点以及其python的运用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值