AI多模态基础知识点：LLM小白也能看懂的分词（tokenization）解读

已于 2024-09-30 15:14:01 修改
阅读量909 收藏 12
点赞数 31
分类专栏： AI多模态 文章标签： 人工智能 AIGC
于 2024-09-30 14:51:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIGCmagic/article/details/142650858
版权

〔探索AI的无限可能，加入“AIGCmagic”社区，让AIGC科技点亮生活〕

本文作者：AIGCmagic社区 刘一手

在这里插入图片描述

零. 初步认识tokenization

在计算机科学领域，自然语言（如英语和普通话）与机器语言（如汇编语言和 LISP）之间存在着明显的差异。自然语言是人类交流的自然形式，而机器语言则是计算机理解和执行的严格结构化语言。尽管计算机在处理自身语言方面表现出色，但它们在处理人类语言的复杂性和模糊性方面却面临挑战。

语言，尤其是文本，是我们交流和知识存储的主要方式。互联网上的内容大部分是文本形式，而大型语言模型如 ChatGPT、Claude 和 Llama 等，通过复杂的计算技术对这些文本进行训练。这些模型能够处理和理解大量的在线文本数据。

然而，计算机本质上是数字处理设备，它们并不直接操作单词或句子。那么，如何弥合人类语言和机器理解之间的差距呢？

这就是自然语言处理（NLP）的用武之地。NLP 是一个跨学科领域，它结合了语言学、计算机科学和人工智能，旨在使计算机能够理解、解释和生成人类语言。NLP 通过算法和模型，使机器能够从文本输入中提取意义，并产生有意义的输出，无论是进行语言翻译、文章摘要还是进行对话。

Tokenization 是自然语言处理（NLP）中的一个关键步骤，它涉及将原始文本转换为计算机可以有效处理的格式。这个过程不仅仅是简单的文本拆分；它还确保以一种保留计算模型含义和上下文的方式来准备语言数据。

以下是 tokenization 过程的典型工作方式：

  1. 标准化：在标记化之前，文本首先需要进行标准化以确保一致性。这可能包括将所有字母转换为小写、删除标点符号以及应用其他规范化技术。这一步骤的目的是减少文本中的变异性，以便模型可以更准确地处理和理解数据。

  2. Tokenization：标准化后的文本接下来被拆分为更小、可管理的单元，这些单元称为 token。Token 可以是单词、子单词，甚至是单个字符，具体取决于应用的需求和上下文。

  3. 数字表示：也叫索引。由于计算机以数字数据为依据进行操作，因此每个 token 都会转换为数字表示。这个过程可以简单到为每个 token 分配一个唯一标识符，也可以复杂到创建多维向量来捕获 token 的含义和上下文。数字表示使得计算机能够对文本进行数学运算和处理。

不同的 tokenization 方法 可以显著影响模型理解和处理语言的能力。例如，一些模型可能需要考虑单词的形态变化，而其他模型可能更关注整个短语或句子的结构。

下面这张图展示了文本处理的基本流程，从原始文本到标准化、分词、索引，再到向量编码的过程。每个步骤都将文本转化为更适合机器处理的形式，最终用于自然语言处理任务中的模型训练和预测。
文本处理的基本流程
本文重点介绍文本处理的前两步：文本标准化和tokenization。

一. 文本标准化

在自然语言处理（NLP）中，文本的细微变化可能会对算法的解释和处理产生显著影响。考虑以下两个句子：

  1. “dusk fell, i was gazing at the Sao Paulo skyline. Isnt urban life vibrant??”
  2. “Dusk fell; I gazed at the São Paulo skyline. Isn’t urban life vibrant?”
    翻译成中文都是：“黄昏降临，我凝视着圣保罗的天际线。城市生活是不是很充满活力？”

乍一看，这些句子传达了相似的含义。然而，当计算机处理它们时，特别是在 tokenization 或编码等任务中，它们可能会因细微的变化而显得截然不同：

  • 大写：“dusk”与“Dusk”
  • 标点符号：逗号与分号；问号的存在
  • 缩写：“Isnt”与“Isnt”
  • 拼写和特殊字符：“Sao Paulo”与“São Paulo”

这些差异会显著影响算法对文本的解释方式。例如，没有撇号的“Isnt”可能不会被识别为“is not”的缩写，而“São”中的“ã”等特殊字符可能会被误解或导致编码问题。

文本标准化是 NLP 中解决这些问题的关键预处理步骤。通过标准化文本，我们可以减少不相关的变化并确保输入模型的数据是一致的。此过程是一种特征工程，我们消除了对手头任务没有意义的差异。

文本标准化的一种简单方法包括：

  1. 转换为小写：减少因大写而导致的差异。
  2. 删除标点符号：通过消除标点符号简化文本。
  3. 规范化特殊字符：将“ã”等字符转换为其标准形式（“a”）。

将这些步骤应用于我们的句子，我们得到：

  1. “dusk fell i was gazing at the sao paulo skyline isnt urban life vibrant”
  2. “dusk fell i gazed at the sao paulo skyline isnt urban life vibrant”
    翻译成中文：黄昏时分，我凝视着圣保罗的天际线，城市生活真是充满活力啊。

现在，句子更加统一，只突出了词汇选择上的有意义的差异（例如，“was gazing at”与“gazed at”）。

虽然有更高级的标准化技术，如词干提取（将单词简化为词根形式）和词形还原（将单词简化为字典形式），但这种基本方法有效地最大限度地减少了表面差异。

以下是基于 Python 实现基本文本标准化的方法：

import re
import unicodedata

def standardize_text(text):
    # 将文本转换为小写
    text = text.lower()
    # 将 Unicode 字符标准化为 ASCII
    text = unicodedata.normalize('NFKD', text).encode('ascii', 'ignore').decode('utf-8')
    # 移除标点符号
    text = re.sub(r'[^\w\s]', '', text)
    # 移除多余的空白
    text = re.sub(r'\s+', ' ', text).strip()
    return text

# 示例句子
sentence1 = "dusk fell, i was gazing at the Sao Paulo skyline. Isnt urban life vibrant??"
sentence2 = "Dusk fell; I gazed at the São Paulo skyline. Isn't urban life vibrant?"

# 标准化句子
std_sentence1 = standardize_text(sentence1)
std_sentence2 = standardize_text(sentence2)
print(std_sentence1)
print(std_sentence2)

# 输出
dusk fell i was gazing at the sao paulo skyline isnt urban life vibrant
dusk fell i gazed at the sao paulo skyline isnt urban life vibrant

确实，通过标准化文本，我们可以显著减少那些可能会使计算模型混淆的表面差异。这种预处理步骤允许模型更加专注于文本中真正重要的变化，从而提高其理解和处理语言的能力。

二.tokenization

在自然语言处理（NLP）的流程中，文本标准化是首要步骤，它为后续的处理打下了坚实的基础。文本标准化之后，紧接着的关键步骤是tokenization。

Tokenization是将标准化后的文本分解为更小的单元，这些单元被称为tokens。Tokens 是构建语言模型的基础，它们是机器学习和深度学习模型用来理解和生成人类语言的基本元素。通过将文本分解成tokens，我们为模型提供了一种方式来识别和处理语言中的各个组成部分。

在tokenization过程中，每个token都会被转换成机器可以处理的数字表示。这种转换是文本矢量化（vectorization）的一部分，矢量化是将文本数据转换为可以被机器学习算法处理的格式的过程。通过这种方式，模型能够识别语言中的模式和结构，从而进行有效的语言理解和生成。

tokenization目前有三种主流方式：单词级、字符级、子词级。

2.1 单词级的tokenization

做法：根据空格和标点符号将文本拆分为单个单词。这是分解文本最直观的方法。
比如：

text = "dusk fell i gazed at the sao paulo skyline isnt urban life vibrant"
tokens = text.split()
print(tokens)

#输出
['dusk', 'fell', 'i', 'gazed', 'at', 'the', 'sao', 'paulo', 'skyline', 'isnt', 'urban', 'life', 'vibrant']
  • 优点：
    单词级 Tokenization是最简单的方法，它将文本分割成单词。每个单词被视为一个单独的 token。这种方法在处理英语等空格分隔的语言时非常有效，因为单词之间的界限清晰。

2.2 字符级的tokenization

做法：将文本分解为单个字符，包括字母、标点符号等。
比如：

text = "life vibrant"
tokens = list(text)
print(tokens)

# 输出
['l', 'i', 'f', 'e', ' ', 'v', 'i', 'b', 'r', 'a', 'n', 't']
  • 优点：
    与单词级不同，字符级 tokenization 将文本分割成单个字符。这种方法不考虑单词边界，适用于没有明显单词分隔的语言，如中文和日文。

2.3 子词级的tokenization

做法：这种方法介于单词级和字符级之间，它将单词分割成更小的、有意义的片段，称为子词（subword）。

BERT（Bidirectional Encoder Representations from Transformers）模型广泛使用了子词级 tokenization。以下是使用 transformers 库中的 BertTokenizer 方法进行子词级 tokenization 的示例：

from transformers import BertTokenizer

text = "I have a new GPU!"
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize(text)
print(tokens)

# 输出
['i', 'have', 'a', 'new', 'gp', '##u', '!']

在这个例子中，单词 “GPU” 被拆分为 “gp” 和 “##u”。这里的 “##” 符号表示 “u” 是前一个子词 “gp” 的延续。这种拆分方式使得模型能够更好地理解和处理单词的内部结构。

  • 优点：
    (1) 减少词汇表大小：通过使用子词而不是整个单词，可以显著减少模型需要学习的词汇量。
    (2) 处理罕见词和新词：子词级 tokenization 能够通过识别和使用常见的词根和词缀来处理未知的单词。
    (3) 保留语义信息：通过将单词分割成有意义的片段，子词级 tokenization 能够保留更多的语义信息。

另外一个例子：单词“annoyingly”，这是一个在训练语料库中可能很少见的单词。通过子词级 tokenization，它可以被分解为**“annoying”和“ly”**。这两个部分单独出现的频率都更高，它们的组合含义保留了“annoyingly”的本质。

from transformers import BertTokenizer

text = "It is annoyingly long."
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize(text)
print(tokens)

# 输出
['it', 'is', 'annoying', '##ly', 'long', '.']

这种方法在土耳其语等黏着性语言中尤其有用。在这些语言中，单词可能会变得非常长，因为子单词会串在一起来传达复杂的含义。例如，一个单词可能包含多个词缀，每个词缀都有特定的语法或语义功能。

请注意，标准化步骤通常集成到 tokenizer 本身中。这包括转换为小写、去除标点符号、替换特殊字符等操作。大型语言模型在处理文本时使用 token 作为输入和输出。

以下是 Llama-3–70B 在 “Tiktokenizer” 工具上生成的 token 的视觉表示：
Llama-3–70B的token 的视觉表示
小结
tokenization的三种方式都有其优势和适用场景。单词级 tokenization 适合处理空格分隔的语言，而字符级 tokenization 适合处理没有明显单词边界的语言。子词级 tokenization 则提供了一种平衡，它通过减少词汇表的大小来提高模型的泛化能力，同时仍然能够处理未知词汇。

在实际应用中，选择哪种 tokenization 方法取决于具体的任务需求和语言特性。例如，在处理英语文本时，单词级 tokenization 可能是首选；而在处理中文文本时，字符级或子词级 tokenization 可能更为合适。随着深度学习技术的发展，子词级 tokenization 因其在处理多种语言和任务中的灵活性和有效性，越来越受到重视。

下面重点介绍子词级 tokenization常用两种算法：字节对编码 (BPE)和WordPiece。

三.子词级tokenization常用算法

3.1 字节对编码 (BPE)

字节对编码（Byte-Pair Encoding，简称 BPE）是一种高效的子词 tokenization 方法，它在自然语言处理领域被广泛使用，尤其是在机器翻译和文本生成任务中。BPE 方法的核心思想是通过迭代合并数据中最常见的字符对来构建词汇表，从而有效地处理罕见词和新词。

BPE 的步骤

  1. 初始化：从一组基本字符开始，这些字符是训练数据中出现的所有唯一字符。
  2. 计算频率：计算所有可能的字符对的频率。
  3. 合并最常见的对：合并出现频率最高的字符对，形成新的子词。
  4. 重复：重复合并过程，直到达到预定义的词汇表大小。

示例

假设我们有以下单词及其频率：

  • “hug”（出现 10 次）
  • “pug”（出现 5 次）
  • “pun”（出现 12 次）
  • “bun”（出现 4 次）
  • “hugs”（出现 5 次）

初始基础词汇表由以下字符组成：[“h”、“u”、“g”、“p”、“n”、“b”、“s”]。

拆分单词

将单词拆分成单个字符：

  • “h” “u” “g”（hug）
  • “p” “u” “g”（pug）
  • “p” “u” “n”（pun）
  • “b” “u” “n”（bun）
  • “h” “u” “g” “s”（hugs）
计算符号对频率

计算每个符号对的频率：

  • “h u”：15 次（来自“hug”和“hugs”）
  • “u g”：20 次（来自“hug”、“pug”、“hugs”）
  • “p u”：17 次（来自“pug”、“pun”）
  • “u n”：16 次（来自“pun”、“bun”）
合并最常见的对

最常见的一对是“u g”（20 次），因此我们将“u”和“g”合并为“ug”并更新我们的单词：

  • “h” “ug”（hug）
  • “p” “ug”（pug）
  • “p” “u” “n”（pun）
  • “b” “u” “n”（bun）
  • “h” “ug” “s”（hugs）
继续合并

我们继续这个过程，将下一个最常见的对（例如“u n”合并到“un”），直到达到我们想要的词汇量。

应用到新单词

对于不在基础词汇表中的新单词，如 "bug" 和 "mug"：

  • "bug" 分词为 ["b", "ug"]
  • "mug" 因包含未在基础词汇表中的 "m"，所以分词为 ["<unk>", "ug"]

注意事项

  • 单个字母通常不会被替换为 <unk> 符号，因为训练数据中通常会包含每个字母至少一次的出现。
  • 特殊字符（如表情符号）可能没有足够的出现次数而被视为 <unk>。

超参数选择

词汇表的大小（基础词汇表大小+合并次数）是一个需要选择的超参数。例如，GPT的词汇表大小为40,478，因为它有478个基础字符，并在40,000次合并后停止训练。

BPE的训练

Hugging Face tokenizers 库提供了一种快速灵活的方式来训练和使用 tokenizers，包括 BPE。

假设在同目录下定义了一个train_bpe_files.txt文件，里面包含了任意一段文本，以“I love natural language processing.”句子为例，代码如下：

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.pre_tokenizers import Whitespace

# 初始化BPE分词器
tokenizer = Tokenizer(BPE())
# 设置tokenizer的预分词器为空格切分（后续迭代融合）
tokenizer.pre_tokenizer = Whitespace()
# 设置Bpe训练器，特殊字符
trainer = BpeTrainer(vocab_size=100, min_frequency=2,special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])
# 指定训练文件训练分词器
tokenizer.train(files=['train_bpe_files.txt'], trainer=trainer)
# 获取训练后的词表
a = tokenizer.get_vocab()

# 保存分词器
tokenizer.save("bpe-tokenizer.json")

# 测试分词结果
# sentence = 'I have a new GPU!'
# out = tokenizer.encode(sentence)
# print("Tokens:", out.tokens)
# print("IDs:", out.ids)


from tokenizers import Tokenizer

# 加载分词器
tokenizer = Tokenizer.from_file("bpe-tokenizer.json")

# 编码文本输入
encoded = tokenizer.encode("I have a new GPU!")
print("Tokens:", encoded.tokens)
print("IDs:", encoded.ids)

# 输出
Tokens: ['I', 'have', 'a', 'new', 'G', 'P', 'U', '!']
IDs: [14, 93, 19, 94, 12, 16, 18, 5]

  • 要注意的是：
    分词结果会根据训练数据的不同而有所差异。这是因为分词器在训练过程中学习到的词汇表和合并规则是基于训练数据的统计特性来确定的。

  • 关于special_tokens的说明：
    在使用预训练模型或训练自己的分词器时，特殊字符（特殊标记）扮演着重要的角色。它们帮助模型理解文本的结构和语义，以下是这些特殊字符的作用：
    [UNK] (未知)：代表未知词或在词汇表中未出现的词。当分词器遇到一个不在训练词汇表中的词时，它会使用 [UNK] 来代替。
    [CLS] (分类)：在BERT等模型中，[CLS] 通常被添加到输入序列的开始处。它用于聚合整个序列的表示，常用于分类任务。
    [SEP] (分隔)：用于分隔句子或句子对。在处理两个句子的序列时，如问答或句子对任务，[SEP] 用来区分它们。
    [PAD] (填充)：用于将所有序列填充到相同的长度，以便能够批量处理。在模型的输入中，[PAD] 被添加到较短的序列末尾，直到达到所需的最大长度。
    [MASK]：在BERT等模型中，[MASK] 是掩码token,用于掩码一些词,然后让模型预测被掩码的词。

3.2 WordPiece

WordPiece是用于BERT、DistilBERT和Electra的子词分割算法。该算法在《日语和韩语语音搜索》(Schuster等人，2012)中概述，与BPE非常相似。WordPiece首先初始化词汇表以包括训练数据中存在的每个字符，并逐步学习给定数量的合并规则。与BPE不同，WordPiece不是选择最频繁的符号对，而是选择一旦添加到词汇表中就能最大化训练数据可能性的符号对。

WordPiece 的工作原理如下：

  1. 初始化： 从包含所有唯一字符的词汇表开始。
  2. Pre-tokenization： 将训练文本拆分为单词。
  3. 构建词汇表： 迭代地将新符号（子词）添加到词汇表中。
  4. 选择标准： WordPiece 不会选择最常见的符号对，而是选择在添加到词汇表中时最大可能增加训练数据可能性的符号对。

WordPiece 的训练

假设在同目录下定义了一个train_wordpiece_files.txt文件，里面包含了任意一段文本，以“I love natural language processing.”句子为例，代码如下：

from tokenizers import Tokenizer
from tokenizers.models import WordPiece
from tokenizers.trainers import WordPieceTrainer
from tokenizers.pre_tokenizers import Whitespace

# 初始化分词器
tokenizer = Tokenizer(WordPiece(unk_token="[UNK]"))

# 设置预分词器
tokenizer.pre_tokenizer = Whitespace()

# 初始化训练器
trainer = WordPieceTrainer(vocab_size=1000, min_frequency=2, special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])

# 训练分词器
files = ["train_wordpiece_files.txt"]
tokenizer.train(files, trainer)

# 保存分词器
tokenizer.save("wordpiece-tokenizer.json")

# 测试分词结果
from tokenizers import Tokenizer

# 加载分词器
tokenizer = Tokenizer.from_file("wordpiece-tokenizer.json")

# 编码文本输入
encoded = tokenizer.encode("I have a new GPU!")
print("Tokens:", encoded.tokens)
print("IDs:", encoded.ids)

# 输出
Tokens: ['I', 'have', 'a', 'new', 'G', '##P', '##U', '!']
IDs: [14, 116, 19, 117, 12, 66, 67, 5]

四. 其他

除了字节对编码 (BPE)和WordPiece，还有另外两种字词级tokenization算法也比较常用，分别做个简单介绍：

Unigram

  • Unigram是一种基于统计的分词方法，它通过考虑每个可能的词序列的概率来进行分词。这种方法试图找到最可能的单词序列，给定一个句子。
  • 计算简单，对新词有较好的识别能力。但忽略了上下文信息，可能导致分词结果不够准确。

SentencePiece

  • SentencePiece是一种基于子词（subword）的分词技术，它旨在处理包括未登录词在内的各种语言现象。SentencePiece通过训练一个模型来学习如何将文本分割成词汇单元，这些单元可以是完整的单词、词根或字符序列。
  • 能够有效地处理未登录词，适用于多语言环境。但可能需要较大的计算资源来训练模型，并且对于某些特定领域可能不够精确。

最后，来看看主流模型使用的分词器：

ModelType of Tokenizer
fast MPNetWordPiece
PhoBERTByte-Pair-Encoding
T5SentencePiece
fast T5Unigram
fast MBARTBPE
fast PEGASUSUnigram
PEGASUSSentencePiece
XLMByte-Pair-Encoding
TAPASWordPiece
BertGenerationSentencePiece
BERTWordPiece
fast BERTWordPiece
XLNetSentencePiece
GPT-2byte-level Byte-Pair-Encoding
fast XLNetUnigram
fast GPT-2byte-level Byte-Pair-Encoding
fast ALBERTUnigram
ALBERTSentencePiece
CTRLByte-Pair-Encoding
fast GPTByte-Pair-Encoding
FlaubertByte-Pair Encoding
FAIRSEQByte-Pair Encoding
ReformerSentencePiece
fast ReformerUnigram
MarianSentencePiece
AIGCmagic社区
关注
专栏目录
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 1240
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
《深入浅出多模态》（三）：多模态任务前言知识
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-23 1963
本章为《深入浅出多模态》系列的第三章，本文《深入浅出多模态：多模态任务前言知识》主要介绍多模态的基础知识，包括Transformer基础、多模态任务如何对齐(文本和图像的编码过程、预训练损失介绍），目的为后面学习多模态模型做理论准备，后续文章将按照多模态方向具体论文发展时间顺序进行更新。多模态学习的内容比较丰富，希望和大家一起在多模态领域学习成长~
神经网络算法--文搞懂Tokenization(分词)
2401_85328934的博客
08-18 794
无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
【LLM系列之Tokenizer】如何科学地训练一个LLM分词器
AAI666666的博客
06-30 1333
在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结一下各个方法及实际案例。tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。tokenize有三种粒度：word/subword/char。
大模型算法工程师经典面试题————LLM大语言模型之Tokenization分词方法（WordPiece，BPE，BBPE)原理
2401_86435672的博客
10-07 1154
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现，全文阅读和实现可能需要45分钟，建议收藏~如果觉得对你有帮助，那就点个赞吧 。 Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表
学习笔记 | XTuner 微调 LLM：1.8B、多模态、Agent
DrFlown的博客
04-21 1200
​ 底座模型 (Foundation Model) 是为了一般性任务而训练，需要领域内微调来更好地适应领域内任务。
零基础入门AI：1 token ~= 3/4 words？3分钟理解大语言模型分词
2401_84495872的博客
08-20 687
分词（Tokenization）是为了将自然语言转换为计算机可以理解的数值形式。分词的过程是将文本分解为更小单元的过程，这些更小的单元通常被称为token。这些token可以是单词、子词或者字符，具体取决于所选用的分词方法。这些token将会进一步被转换为数字ID，再转换为向量，从而成为计算机可以理解的输入形式。
《LLM零基础入门篇》（四）：主流大模型介绍
qingkahui24689的博客
08-12 796
导读：本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
《深入浅出LLM基础篇》（三）：大模型结构分类
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-10 2065
导读：本篇为《深入浅出LLM基础篇》系列第三篇，《深入浅出LLM基础篇》（三）：大模型结构分类主要讨论大型语言模型是如何构建的，章节将着重讨论模型架构，主要讨论Transformer架构及编码、解码器组成结构及原理，这是真正实现大型语言模型的建模创新。
大语言模型应用指南：人工智能的起源
AI天才研究院
07-26 362
人工智能，这一曾经只存在于科幻小说中的概念，如今正以惊人的速度走进现实，深刻地改变着我们的世界。从自动驾驶汽车到智能语音助手，从医疗诊断到金融交易，人工智能的应用已经渗透到各个领域，为人类社会带来了前所未有的机遇和挑战。在人工智能发展的漫长历史中，大语言模型（Large Language Model, LLM）的出现无疑是一个重要的里程碑。它们是基于深度学习技术构建的巨型神经网络，能够理解和生成人类语言，并在各种任务中展现出惊人的能力。
人工智能_大模型070_多模态大语言模型18_AnimateDiff图生视频_AnimateAnyone姿势生视频_原生视频模型Sora_NaVIT_MagVIT---人工智能工作笔记0205
添柴程序猿的专栏
05-21 269
Transformer架构本身是一种基于自注意力机制的神经网络模型，它通过自注意力机制来捕捉输入序列中的全局依赖关系，解决了传统模型在捕捉长距离依赖关系方面的局限性。与传统的序列模型（如循环神经网络RNN和长短期记忆网络LSTM）相比，Temporal Attention模型能够更好地处理时序数据，因为它能够区分不同时间步长的重要性，而不是将所有时间步长的信息等权重地考虑进去。它不仅关注视频的局部细节，还能捕捉到视频中的整体结构和动态变化，从而生成更加丰富和真实的视频内容。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 943
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
最新发布
vickynesss的博客
11-01 135
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
数据预处理：为 AI 准备 “优质食材” 的重要步骤
JiexianYao的博客
10-31 523
AI模型数据处理
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1805
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型系列——AlphaZero/强化学习/MCTS
hang on it more longer
10-29 1064
AlphaGo Zero无需任何人类历史棋谱，仅使用深度强化学习，从零开始训练三天的成就已远远超过了人类数千年积累的。
AI产品经理实战手册：策略、开发与商业化指南
清图出版
10-31 347
通过《AI产品经理手册》，将可以了解不同类型的AI，如何将AI整合到产品或业务中，以及支持创建AI产品或将AI集成到现有产品所需的基础设施。熟悉实践管理AI产品开发流程、评估和优化AI模型，以及应对与AI产品相关的复杂伦理和法律问题等相关知识。通过案例研究和学习，在快速发展的AI和机器学习领域保持领先地位。通过阅读本书，读者将能够从产品角度全面了解AI领域。
【论文阅读】Persistent Homology Based Generative Adversarial Network
开心星人的博客
10-26 1447
现有的生成模型不能充分捕捉图像的全局结构信息，使得图像生成过程中难以协调全局结构特征和局部细节特征。该文提出了一种基于持续同调的生成对抗网络（PHGAN）。本文基于持久同调方法设计了拓扑特征变换算法，并通过全连通层模块和自注意模块将拓扑特征集成到遗传神经网络的鉴别器中，使PHGAN具有良好的全局结构信息捕获能力，提高了模型的生成性能。在CIFAR10数据集和STL10数据集上对PHGAN进行了实验评估，并与几种经典的生成式对抗网络模型进行了比较。实验结果表明我们的PHGAN模型具有较好的图像生成能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值