【AI大模型】Transformers大模型库（一）：Tokenizer

最新推荐文章于 2024-08-13 16:18:30 发布
最新推荐文章于 2024-08-13 16:18:30 发布
阅读量350 收藏 17
点赞数 13
文章标签： 人工智能 ai大模型 prompt 大模型 llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/141166848
版权

一、引言

这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。

🤗 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。

🤗 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。

🤗 Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

本文重点介绍Tokenizer类。

二、Tokenizer

2.1 概述

Tokenizer在自然语言处理（NLP）中是一个关键组件，它负责将文本字符串转换成模型可以处理的结构化数据形式，通常是将文本切分成“tokens”或单词、短语、子词等单位。这些tokens是模型理解文本的基础。Tokenizer的类型和复杂性可以根据任务需求而变化，从简单的基于空格的分割到更复杂的基于规则或机器学习的分词方法。

2.2 主要功能
  1. 分词：将句子拆分成单词或子词。例如，中文分词器会将“自然语言处理”拆分成“自然”、“语言”、“处理”，而英文Tokenizer可能使用Subword Tokenization如Byte-Pair Encoding (BPE)来处理罕见词。 2. 添加特殊标记：在序列的开始和结束添加特殊标记，如BERT中的[CLS]和[SEP]，用于特定任务的序列分类或区分输入片段。 3. 编码：将tokens转换为数字ID，这些ID是模型的输入。每个token在词汇表中有一个唯一的ID。 4. 处理填充和截断：为了确保输入序列的一致长度，Tokenizer可以对较短的序列进行填充，对较长的序列进行截断。 5. 生成Attention Mask：在某些模型中，Tokenizer还会生成一个Attention Mask，指示哪些输入位置是实际的tokens（通常标记为1），哪些是填充的（标记为0）。
2.3 代码示例

使用示例（以Hugging Face的Transformers库为例）：

代码语言：javascript

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

print("------------单句分词------------")

token = tokenizer.encode("我在北京的,互联网公司工作")

print(token)  #[101, 2769, 1762, 1266, 776, 4638, 117, 757, 5468, 5381, 1062, 1385, 2339, 868, 102]

print(tokenizer.decode(token))  #[CLS] 我 在 北 京 的, 互 联 网 公 司 工 作 [SEP]

print("------------多句分词------------")

batch_token1 = tokenizer(["我在,北京工作","想去外地看一看世界多么美好"],padding=True,return_tensors="pt")

print(batch_token1)
"""
{'input_ids': tensor([[ 101, 2769, 1762,  117, 1266,  776, 2339,  868,  102,    0,    0,    0,
            0,    0,    0],
        [ 101, 2682, 1343, 1912, 1765, 4692,  671, 4692,  686, 4518, 1914,  720,
         5401, 1962,  102]]), 'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0],
        [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]])}
"""
print(batch_token1["input_ids"])
"""提取input_ids
tensor([[ 101, 2769, 1762,  117, 1266,  776, 2339,  868,  102,    0,    0,    0,
            0,    0,    0],
        [ 101, 2682, 1343, 1912, 1765, 4692,  671, 4692,  686, 4518, 1914,  720,
         5401, 1962,  102]])
"""

这个例子展示了如何使用BertTokenizer来处理文本，生成包括token input_ids、token_type_ids和attention mask在内的编码数据，这些数据可以直接用于BERT模型的输入。

三、总结

本文对使用transformers的BertTokenizer进行尝试，主要功能是将字、词转换为可以运算的数字ID编码，供后面的model层使用。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
  • 13
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型开发工具库 HF Transformers
07-22
- **Pipelines 快速实践大模型**：Transformers 提供了一个名为 Pipelines 的高级API，用户可以通过简单的几行代码来执行复杂的任务，比如智能问答、语音识别、图像分类等。这大大降低了开发者的使用门槛，使得非...
大模型技术：相关教程、调用与使用技巧.docx
07-21
Hugging Face 的 Transformers 库为调用和使用大模型提供了便利的方法。 #### 2.1.1 安装 Transformers 库 安装过程简单快捷： ```bash pip install transformers ``` #### 2.1.2 加载预训练模型 以 GPT-2 为例...
【AI大模型】Transformers大模型库（四）：AutoTokenizer
人工智能领域博客
06-05 3391
本文对使用transformers的AutoTokenizer进行介绍，他最大的特点是允许开发者通过一个统一的接口来加载任何预训练模型对应的分词器（tokenizer），而无需直接指定分词器的精确类型。这意味着，当知道模型的名称时，可以使用AutoTokenizer自动获取与该模型匹配的分词器。
AI大模型探索之路-训练篇10：大语言模型Transformer库-Tokenizer组件实践
寻道码路，探索编程之路的无限可能。
05-02 3375
在自然语言处理（NLP）的世界里，文本数据的处理和理解是至关重要的一环。为了使得计算机能够理解和处理人类的自然语言，我们需要将原始的、对人类可读的文本转化为机器可以理解的格式。这就是Tokenizer，或者我们常说的分词器，发挥作用的地方。
【AI大模型】Transformers大模型库（二）：AutoModelForCausalLM
最新发布
2301_81940605的博客
08-13 167
是Hugging Face的库中的一个类，它是一个自动模型类，用于因果语言建模（Causal Language Modeling）。因果语言建模是指给定之前的词或字符序列，模型预测文本序列中下一个词或字符的任务。这种模型广泛应用于生成式任务，如对话系统、文本续写、摘要生成等。本文对使用transformers的AutoModelForCausalLM进行尝试，主要对CausalLM（因果推理模型）进行实例化，需要与同类的AutoTokenizer分词器一起使用。同时，列举了管道模型自动模型具体模型。
通俗易懂讲解大模型：Tokenizer
2301_78285120的博客
09-03 4893
我们不是合并频繁的字节对，而是合并频繁的字符或字符序列。这里通过将前缀添加到单词内的每个字符来拆分的，单词的首字符不添加前缀。找到词表中能够匹配到的最长的子词，然后对单词进行拆分。现在的问题是，给定一个训练语料库 D ，如何获得词表 V 以及每个子词出现的概率 p(x)。的物理意义为：通过将 t1,t2 合并为 t1,2 之后，语料库的对数似然的增量最大化。然而这又因语言而异，例如，在中文中每个字符比拉丁语言中的每个字符包含更多的信息。注意，在更大的语料库中这样的相等的情况很少见。
【AI大模型】Transformers大模型库（十二）：Evaluate模型评估
人工智能领域博客
06-26 453
Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。虽然Transformers库本身没有直接提供一个名为evaluate的独立API函数，但通常通过Trainer类的evaluate方法来实现模型评估。
大模型中的Tokenizer
wangziling123456的博客
05-23 859
在使用GPT 、BERT模型输入词语常常会先进行tokenize。tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。
AI大模型的战场：通用与垂直的较量
探索IT世界
06-12 1585
AI大模型的战场正在分化，通用与垂直的较量才刚刚开始。无论是通用大模型的广泛适用性，还是垂直大模型的专业优势，它们都在推动着人工智能技术的发展和应用。作为观察者和参与者，我们更应关注这场竞争背后的技术创新和市场动态，以期把握未来的发展趋势。在这个充满变数的赛点上，我个人更倾向于看好那些能够快速适应市场变化、提供定制化解决方案的垂直大模型。它们在特定领域的深耕，可能会带来更加精准和高效的服务，从而在竞争中占据一席之地。然而，这并不意味着通用大模型没有优势，它们在技术成熟度和创新能力上仍然具有不可小觑的潜力。
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
2401_85325397的博客
06-05 1074
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前`LLaMA`，`ChatGLM`等大模型采用的是基于分词工具`sentencepiece`实现的`BBPE（Byte-level BPE）`分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。
大模型基础教程：Tokenizer的作用与原理
star_nwe的博客
07-30 907
Tokenizer是文本处理中的一个基本工具，负责将连续的文本字符串分割成离散的Token单元。这一步骤对于后续的文本分析、模型训练和自然语言理解至关重要。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
大模型使用教程和技巧.pdf
07-27
随着人工智能技术的飞速发展，大模型（Large Language Models, LLM）在自然语言处理（Natural Language Processing, NLP）领域扮演着越来越重要的角色。它们不仅能够处理复杂的语言任务，还能达到甚至超越人类级别的...
AI大模型应用开发实战营作业-实现LangChain 版本的 AutoGPT 项目的图形化界面
11-07
在本项目中，我们将探索如何将AI大模型与LangChain库结合，以实现AutoGPT项目的图形化界面。LangChain是一个强大的工具，它允许开发者构建、管理和操作自然语言处理（NLP）模型，如对话系统和文本生成器。AutoGPT是...
大型预训练模型.docx
07-21
随着人工智能技术的发展，特别是深度学习领域的突破，大型预训练模型已经成为自然语言处理（NLP）、计算机视觉（CV）等领域的核心技术之一。本篇文章将详细介绍如何有效利用这些强大的工具，并提供一系列实用的建议...
大模型微调工具-torchtune
weixin_40777649的博客
08-08 1015
1.定义2.安装3. 案例。
根据哈希值或者特征值判断图片是否相同
Y_warmth
08-09 663
detectAndCompute 方法结合了特征检测和描述符计算两个步骤，可以在图像中检测出特征点并计算这些特征点的描述符。ORB（Oriented FAST and Rotated BRIEF）是一种结合了 FAST 特征检测器和 BRIEF 描述符的特征提取算法，具有旋转不变性和尺度不变性，适用于图像特征匹配、目标检测等任务。接着使用 ORB 对象的 detectAndCompute() 方法检测图像中的特征点并计算描述符，最后将特征点绘制在图像上并显示出来。
叉车指纹锁系统 指纹识别启动车辆 让管理更轻松！
jiuxindianzi的博客
08-12 287
叉车指纹系统通过指纹认证管理叉车，降低安全事故，强化安全管理。支持指纹、刷卡识别，云端数据管理。适用于油电叉车，安装需连接特定线路，提高叉车管理效率。
数字化转型-成就智慧智慧企业
绿茵场的激情
08-12 273
数字化转型是企业迈向智慧化发展的关键路径，通过将先进的数字技术融入企业核心业务，构建智能化、数据驱动的运营模式，实现业务的全面升级与优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值