Hugging Face实战-系列教程20：文本摘要建模实战2 之 Tokenizer处理

机器学习杨卓越

已于 2023-12-18 23:54:56 修改

阅读量447

点赞数 9

分类专栏： Hugging Face实战文章标签：语言模型 nlp

于 2023-12-18 23:51:29 首次发布

本文链接：https://blog.csdn.net/weixin_50592077/article/details/135074260

版权

Hugging Face实战专栏收录该内容

22 篇文章 21 订阅

订阅专栏

🚩🚩🚩Hugging Face 实战系列总目录

有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Jupyter Notebook中进行
本篇文章配套的代码资源已经上传

文本摘要建模实战1 之数据清洗
 文本摘要建模实战2 之 Tokenizer处理

3 Tokenizer处理

注意需要先pip install sentencepiece这个包（装完之后重启下这个notebook）
应该是mt5这个没有fast实现方法，所以需要借助这个包

from transformers import AutoTokenizer
model_checkpoint = "google/mt5-small"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

文本摘要建模实战1 之数据清洗
 文本摘要建模实战2 之 Tokenizer处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

机器学习杨卓越

关注关注

9
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hugging face 使用教程———快速入门

TigerZ*的博客

07-24

1247

本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。

Hugging Face实战-系列教程19：文本摘要建模实战1 之数据清洗（中文商城评价数据处理方法）

机器学习与软件工程

12-18

639

Hugging Face实战-系列教程19：文本摘要建模实战1 之数据清洗（中文商城评价数据处理方法）

参与评论您还未登录，请先登录后发表或查看评论

文本摘要，基于Pytorch和Hugging Face Transformers构建示例，有源码

写bug的程旭源

01-09

1306

文本摘要的常见问题和解决方法概述，以及使用Hugging Face Transformers库构建基于新浪微博数据集的文本摘要示例。作者丨程旭源学习笔记 1 前言简介文本摘要旨在将文本或文本集合转换为包含关键信息的简短文本。主流方法有两种类型，抽取式和生成式。常见问题：抽取式摘要的内容选择错误、语句连贯性差、灵活性差。生成式摘要受未登录词、词语重复等问题影响。文本摘要的分类有很多，比如单文档多文档摘要、多语言摘要、论文生成（摘要、介绍、重点陈述等每个章节的生成）、医学报告生成、情感类摘要（观点

【完全攻略】畅游NLP海洋：HuggingFace的快速入门

艰难困苦，玉汝于成。

07-19

2776

Hugging Face是一个以自然语言处理（NLP）为重点的技术公司，也是一个开源社区和平台，旨在提供丰富的NLP模型、工具和资源。Hugging Face的目标是成为NLP领域的社区和创新驱动者，他们通过为开发者和研究人员提供开源工具、预训练模型和数据集来实现这一目标。Hugging Face的开源库和工具广泛应用于各种NLP任务，包括文本分类、命名实体识别、情感分析、机器翻译等。

Hugging Face实战-系列教程6：NER中篇（命名实体识别/文本标注/Doccano工具使用/关键信息抽取/Token分类/源码解读/代码逐行解读/文本BIO处理/文本分类/序列标注)

机器学习与软件工程

08-08

1581

Hugging Face 实战系列总目录

机器学习与软件工程

09-02

2183

自然语言处理Hugging Face的Transformer、Datasets、Tokenizer等模块的使用、项目实战、语言模型微调系列教程

AGI 之【Hugging Face】的【文本摘要】的 [摘要基准 ] / [ GPT ] / [T5] / [ BART ] / [ 度量文本生成的质量] 的简单整理

仙魁XAN

07-10

973

目录AGI 之【Hugging Face】的【文本摘要】的 [摘要基准 ] / [ GPT ] / [T5] / [ BART ] / [ 度量文本生成的质量] 的简单整理一、简单介绍二、文本摘要三、CNN/DailyMail数据集四、文本摘要pipeline1、摘要基准2、GPT-23、T54、BART5、PEGASUS五、比较不同的摘要六、度量生成文本的质量1、BLEU2、ROUGE。

小白学大模型：Hugging Face Tokenizer

python12345678_的博客

06-04

367

在自然语言处理（NLP）领域，Tokenizer（分词器）是准备输入模型的关键步骤之一。Hugging Face 提供了用于各种模型的分词器库，其中大多数分词器都以两种风格提供：一种是完整的 Python 实现，另一种是基于 Rust 库 🤗 Tokenizers 的“Fast”实现。特别是在批处理分词时，使用“Fast”实现可以获得显著的速度提升。提供了额外的方法，用于在原始字符串（字符和单词）与标记空间之间进行映射。例如，可以获取包含给定字符的标记的索引，或获取与给定标记对应的字符范围。

[LLM]Hugging Face 的 Autotrain-Advanced 探索

摩登都市天空---专栏

07-03

870

AutoTrain Advanced，这是一款无代码工具，专门设计用于让用户无需编写一行代码即可创建、微调和部署自己的 AI 模型。只需上传数据即可训练自定义机器学习模型。AutoTrain 将自动为你的数据找到最佳模型。它不仅可以帮助机器学习工程师，甚至可以帮助非开发人员轻松训练最先进的 ML 模型。只需要简单几步即可快速完成模型的微调、训练、推理和部署。AutoTrain 是一种自动训练和部署最先进的机器学习模型的方法，与 Hugging Face 生态系统无缝集成。

LLM - Hugging Face 工程 BERT base model (uncased) 配置

Mystra

06-26

1537

BERT是一个在大量英文数据上以自监督的方式预训练的变换器模型。这意味着它只是在原始文本上进行预训练，没有人以任何方式对它们进行标注（这就是为什么它可以使用大量公开可用的数据），而是用一个自动的过程来从这些文本中生成输入和标签。uncased 表示不区分大小写。完成更新 5 个文件。

丨汀、的博客

04-14

1518

【Transformer-Hugging Face手册 07/10】微调预训练模型

gongdiwudu的专栏

02-07

2380

使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。

基于asp.net的房地产管理系统设计与实现.docx

09-29

基于asp.net的房地产管理系统设计与实现.docx

基于asp.net的小型企业办公耗材库存管理系统设计与实现.docx

09-29

基于asp.net的小型企业办公耗材库存管理系统设计与实现.docx

基于Vue和Element的电脑配件管理系统设计源码

09-29

该项目为基于Vue和Element UI框架构建的电脑配件管理系统源码，包含89个文件，涉及32个JavaScript文件、20个Vue组件文件、12个SVG图标文件、6个SCSS样式文件、3个PNG图片文件、2个YAML配置文件、2个Markdown文件、2个JPG图片文件、1个EditorConfig配置文件以及1个开发相关文件。该系统主要使用JavaScript和Vue进行开发，辅以HTML和SVG技术，旨在提供一套高效便捷的电脑配件管理解决方案。

非标自动化设备【B81】.zip

09-29

非标自动化设备【B81】.zip

网络安全 - JWT 密钥爆破 - CrackingJWTKeys.py

09-29

JWT（JSON Web Token）是一种广泛用于身份验证和信息交换的开放标准。然而，JWT的安全性在很大程度上依赖于其签名的有效性，而签名的有效性又依赖于密钥的保密性。因此，保护JWT密钥不被破解至关重要。`CrackingJWTKeys.py`是一个用于破解JWT密钥的工具，它可以帮助安全专家评估JWT实现的安全性。 ### 什么是JWT密钥爆破？ JWT密钥爆破是一种尝试通过尝试多种可能的密钥来破解JWT签名的方法。如果攻击者能够破解密钥，他们就可以伪造令牌，从而冒充其他用户或访问受限资源。这通常涉及到尝试使用一个预先定义的单词列表（字典攻击）或者使用暴力破解方法来猜测密钥。 ### `CrackingJWTKeys.py`的作用 `CrackingJWTKeys.py`工具旨在帮助安全研究人员和渗透测试人员识别JWT实现中的弱点。它可以通过以下方式帮助识别这些弱点： 1. **字典攻击**：使用一个预先定义的密码列表尝试破解密钥。 2. **暴力破解**：尝试所有可能的密钥组合直到找到正确的一个。 3. **密钥混淆攻击**：尝试利用已知的漏洞，如CVE-2016-

绿色环保助手app开发

Hugging Face实战-系列教程20：文本摘要建模实战2 之 Tokenizer处理

🚩🚩🚩Hugging Face 实战系列 总目录

3 Tokenizer处理

🚩🚩🚩Hugging Face 实战系列总目录