Embedding 模型的选择和微调

已于 2024-05-20 09:12:29 修改
阅读量1.2k 收藏 19
点赞数 18
分类专栏： 大模型 文章标签： embedding 大模型
于 2024-05-20 09:10:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37156901/article/details/139053067
版权

目录

引言

向量模型在 RAG 系统中的作用

1. 对 query 和 私域知识 进行向量化表示

2. 动态更新知识库

3. 数据隐私和安全

有哪些性能不错的向量模型

OpenAI Embedding

JinaAI Embedding

BAAI/bge Embedding

模型评测

MTEB 排行榜：https://huggingface.co/spaces/mteb/leaderboard

如何 Finetune 向量模型

1. 安装 FlagEmbedding

2. 数据准备

3. Hard Negatives 挖掘（可选）

4. 训练

5. 模型合并（可选）

引言

万物皆可 Embedding。Embedding 用一个多维稠密向量来表示事物的多维特征，从而在一个连续的向量空间中刻画事物之间的相似性和差异性。这种表示方式不仅提高了计算效率，还增强了模型对数据内在结构和关系的理解能力。

向量模型在 RAG 系统中的作用

1. 对 query 和 私域知识 进行向量化表示

2. 动态更新知识库

3. 数据隐私和安全

Embedding 在 RAG 系统中扮演着至关重要的角色：如果 Embedding 模型在对私域知识进行向量化表示的过程中表现不佳，那么即使 RAG 系统在其他方面设计得当，最终效果也难以达到预期水平 。

为了让私域知识能在问答中被检索到，我们可以基于倒排和基于向量的方式构建知识库索引。倒排索引是一种基于关键词的精确性检索，但语义理解能力弱，而向量索引是基于文本向量的语义检索，可以捕捉文本的语义信息。一般情况下，我们会同时使用这两种检索方式。

有哪些性能不错的向量模型

OpenAI Embedding

JinaAI Embedding

https://huggingface.co/jinaai/jina-embeddings-v2-base-zh

BAAI/bge Embedding

https://huggingface.co/BAAI/bge-large-zh-v1.5

模型评测

面对这么多向量模型，我们如何衡量一种 Embedding 模型相对于其他模型的有效性呢？Hugging Face 推出了 MTEB（Massive Text Embedding Benchmark 大规模文本嵌入基准）测试框架，旨在评估文本 Embedding 模型在多种任务上的性能。它覆盖了 8 类任务和 58 个数据集，涉及 112 种语言，是目前最全面的文本嵌入评估基准之一。MTEB 提供了一个公开的排行榜，用于展示各个模型在不同任务上的表现。

MTEB 排行榜：https://huggingface.co/spaces/mteb/leaderboard

MTEB 包含以下任务类别，每个类别对应不同的评估指标和数据集：

  1. 1. 文本分类（Classification）：如情感分析、意图分类等。

  2. 2. 聚类（Clustering）：如将相似文本分为同一类。

  3. 3. 成对分类（Pair Classification）：判断两个文本是否重复或具有相似含义。

  4. 4. 重排序（Reranking）：根据查询重新排序相关和不相关的参考文本。

  5. 5. 检索（Retrieval）：从大量文档中找到与查询相关的文档。

  6. 6. 语义文本相似性（STS）：评估句子对之间的相似性。

  7. 7. 摘要（Summarization）：评估机器生成摘要的质量。

如何 Finetune 向量模型

在特定领域，对向量模型进行 Finetune 的主要目标是提高 Recall@N （前 N 个检索结果中包含相关文档的比例）的准确率和优化正例与负例的 similarity 值域分布。

下面，我以 BAAI/bge-large-zh-v1.5 为例，看看如何基于私有领域数据进行 Finetune。

1. 安装 FlagEmbedding

首先，安装 FlagEmbedding 库：

pip install -U FlagEmbedding

2. 数据准备

训练数据是一个 json 文件，其中每一行都是一个独立的 json 对象，如下所示：

{"query": "如何提高机器学习模型的准确性？", "pos": ["通过交叉验证和调参可以提高模型准确性。"], "neg": ["机器学习是人工智能的一个分支。"]}
{"query": "什么是深度学习？", "pos": ["深度学习是机器学习的一个子领域，涉及多层神经网络。"], "neg": ["数据科学是一门交叉学科。"]}

其中，query 是问题，pos 是正样本列表，neg 是负样本列表，如果没有现成的负样本，可以考虑从整个语料库中随机抽取一些文本作为 neg。

将数据保存为 jsonl 文件，例如 finetune_data.jsonl 。

3. Hard Negatives 挖掘（可选）

Hard Negatives 是指那些在向量空间中与查询较为接近但实际上并不相关的样本。挖掘这些样本可以提高模型的辨别能力，提供 Embedding 质量。具体方法可以参考以下代码：

python -m FlagEmbedding.baai_general_embedding.finetune.hn_mine \
--model_name_or_path BAAI/bge-large-zh-v1.5 \
--input_file finetune_data.jsonl \
--output_file finetune_data_minedHN.jsonl \
--range_for_sampling 2-200 \
--negative_number 15

其中，range_for_sampling 表示从哪些文档采样，例如 2-200 表示从 top2-top200 文档中采样 negative_number 个负样本 。

4. 训练

微调 Embedding 模型的命令如下：

torchrun --nproc_per_node {number of gpus} \
-m FlagEmbedding.baai_general_embedding.finetune.run \
--output_dir {path to save model} \
--model_name_or_path BAAI/bge-large-zh-v1.5 \
--train_data ./finetune_data.jsonl \
--learning_rate 1e-5 \
--fp16 \
--num_train_epochs 5 \
--per_device_train_batch_size {large batch size; set 1 for toy data} \
--dataloader_drop_last True \
--normlized True \
--temperature 0.02 \
--query_max_len 64 \
--passage_max_len 256 \
--train_group_size 2 \
--negatives_cross_device \
--logging_steps 10 \
--save_steps 1000 \
--query_instruction_for_retrieval "" 

以上命令指定了训练参数，包括学习率、批次大小、训练轮次等，需要根据实际情况进行调整。

5. 模型合并（可选）

对通用模型进行微调可以提高其在目标任务上的性能，但可能会导致模型在目标域之外的一般能力退化。通过合并微调模型和通用模型，不仅可以提高下游任务的性能，同时保持其他不相关任务的性能。

为了将微调后的模型和原来的 bge 模型进行合并，我们需要先安装 LM_Cocktail，如下所示：

pip install -U LM_Cocktail

合并代码参考如下：

from LM_Cocktail import mix_models, mix_models_with_data

# Mix fine-tuned model and base model; then save it to output_path: ./mixed_model_1
model = mix_models(
    model_names_or_paths=["BAAI/bge-large-zh-v1.5", "your_fine-tuned_model"], 
    model_type='encoder', 
    weights=[0.5, 0.5],  # you can change the weights to get a better trade-off.
    output_path='./mixed_embedding_model')

拓展阅读

  • • https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune

  • • https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail

逛逛1973
关注
  • 18
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FlagEmbedding模型微调时json数据处理
05-21
FlagEmbedding项目中对reranker和embedding模型微调。 用于json格式数据处理的，及自动化脚本测试。自动化找出前top1和top5占比。 将instruction-input-output格式数据转换为query-pos-neg数据； 将多个文件的json...
用通俗易懂的方式讲解：对 embedding 模型进行微调，我的大模型召回效果提升了太多了
2301_78285120的博客
01-12 4598
对embedding模型进行微调的过程中需要使用GPU加速训练，我这里就使用了Google colab提供的免费T4GPU进行微调测试。如果大家没办法使用这个，可以使用国内一些公司的GPU云平台，租便宜的GPU就行，微调这个模型所耗费的GPU资源不多。以下所有训练代码皆是在Jupter-notebook上编写并执行的。
嵌入模型（embedding ）和重排序模型（rerank）与bert的关系
m0_53353946的博客
03-18 1211
上下文嵌入模型：与为每个单词分配固定向量表示的传统单词嵌入不同，ELMo（来自语言模型的嵌入）和 BERT（来自 Transformers 的双向编码器表示）等上下文嵌入模型会生成上下文感知嵌入。总之，BERT 可以成为重新排名模型中的一个有价值的组件，提供丰富的上下文嵌入，提高模型根据相关性和用户意图理解和排名搜索结果或推荐的能力。预训练的词嵌入根据训练数据中单词的共现模式捕获单词之间的语义关系。迁移学习模型：一些嵌入模型利用迁移学习技术，其中在大型数据集上预训练的模型在较小的特定领域数据集上进行微调。
【NLP】词袋模型（bag of words model）和词嵌入模型（word embedding model）
热门推荐
学渣的博客
11-24 3万+
本文作为入门级教程，介绍了词袋模型（bag of words model）和词向量模型（word embedding model）的基本概念。 1 词袋模型 我们先来看2个例句： Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一
手工微调embedding模型RAG检索能力
asd8705的专栏
01-14 1936
本文是一篇关于如何微调embedding的文章，原作者是Wenqi Glantz。 主要内容： 微调big-large-en开源embedding模型； 具体实现代码细节； 评测最终的提升效果。
transformer算法嵌入Embedding示例
benben044的专栏
06-27 1675
transformer中融入外置embedding的示例
Embedding
weixin_43730035的博客
10-23 821
对于Embedding的理解 相对于one-hot编码来说，Embedding的主要作用是降维，减少计算量 相同点 one-hot编码和Embedding的主要作用均是对一组特征进行转换，使其每个特征都转换为向量，便于计算 例子 对于输入的同一组特征[0,1,0,2,1,3,4]，one-hot编码的维度与特征的类别数保持一致，而Embedding的维度可以自己设置，本文设置为2。 代码： fro...
闻达 | M3E，开源中文 Embedding 模型新 SOTA
sinat_30045277的博客
06-14 2万+
M3E 是 Moka Massive Mixed Embedding 的缩写 Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zh Massive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练 Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索 Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量
搜狗新闻预训练embedding
09-08
搜狗新闻是一个包含大量实时、多样性的新闻信息来源，这使得训练出的embedding模型能够反映现实世界的语言使用情况，具有广泛的应用价值。 标签“搜狗新闻预训练embedding”是对该资源的简单分类，方便用户快速了解...
ChatGPT的模型解析及模型选择准则.docx
08-02
ChatGPT是由OpenAI开发...在实际应用中，选择模型时需综合考虑任务需求、可用数据、计算资源和模型性能，以确保最佳的对话生成效果。通过适当选择和定制ChatGPT，可以有效地提升聊天机器人、智能助手等应用的用户体验。
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
11-19
BERT通过掩码语言模型（Masked Language Modeling）和下一句预测任务进行预训练，然后在各种NLP任务上进行微调，如问答、情感分析等，刷新了多项NLP基准测试的记录，成为了预训练模型的新标杆。 BERTv2.0是对原始...
bert-embedding：m来自mxnet和gluonnlp上BERT模型的令牌级嵌入
02-03
通过这种方式，您可以仅通过利用或令牌嵌入来构建模型，而不必为端到端NLP模型进行构建和微调。 该项目使用实施。 特别感谢团队。 安装 pip install bert-embedding # If you want to run on GPU machine, please ...
embedding(向量模型)
最新发布
u011532237的博客
04-14 591
embedding主要属于文本嵌入模型，它们被用于将文本转换为数学上的向量形式，以便计算机能更好地理解、处理和对文本数据进行分析。不同的模型有着不同的架构、训练数据集、目标任务和性能。总的来说，这些模型分别可能基于不同的技术和设计原则，针对不同的语言和任务。在使用之前，理解它们的工作原理、训练数据和最适应的场景是很重要的。OpenAI 的文本embedding衡量文本字符串的相关性。●分类（文本字符串按最相似的标签进行分类）●搜索（结果按与查询字符串的相关性排名）●推荐（推荐具有相关文本字符串的项目）
【文本分类】深入理解embedding层的模型、结构与文本表示
十一月廿七风雨大作
12-09 1万+
深入理解embedding层的模型、结构与文本表示
探索深度学习的新里程：`embedding_model_test`项目详解
gitblog_00014的博客
04-07 295
探索深度学习的新里程：embedding_model_test项目详解 项目地址:https://gitcode.com/JovenChu/embedding_model_test 在人工智能领域，尤其在自然语言处理（NLP）中，词嵌入模型已经成为理解文本数据的关键工具。今天，我们将深入探讨一个名为embedding_model_test的开源项目，它是一个方便测试和比较各种词嵌入模型的平台。通过...
还没搞懂嵌入（Embedding）、微调（Fine-tuning）和提示工程（Prompt Engineering）？...
DynmicResource的博客
09-27 2004
theme: orange 嵌入(Embedding)、微调(Fine-tuning)和提示工程(Prompt Engineering) 是AIGC 模型的核心功能，合理运行这些功能，能实现一些复杂和意向不到的应用。 前言 Prompt和Embedding是AIGC模型的核心功能，语言处理应用。例如，它们可以用于聊天机器人、语言翻译、摘要生成、文本分类等。Fine-tuning技...
深度模型（五）：Embedding
Jony0917的专栏
08-03 2900
Embedding NLP领域通常用语言模型来做预训练，得到单词的Embedding向量，用于其他NLP下游任务的输入。 语言模型 什么是语言模型？就是某种语言中，一个句子SSS出现的概率： P(S)P(S)P(S) 自然语言的基本构成元素是词，那么语句SSS的概率可以表示为： P(S)=P(w1,w2,...,wn)P(S)=P(w_1,w_2,...,w_n)P(S)=P(w1​,w2​,.....
一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（上）
百度大脑
04-07 1007
本文章由飞桨星河社区开发者高宏伟贡献。高宏伟，飞桨开发者技术专家（PPDE），飞桨领航团团长，长期在自媒体领域分享AI技术知识，博客粉丝9w+，飞桨星河社区ID为GoAI 。分享分为上下两期，本期分享从多模态概念与意义、任务类型及数据集、发展关系及时间线和基础知识等方面介绍多模态。多模态概念与意义多模态学习（Multimodal learning）是机器学习的一个重要分支。模态（Modality）...
用于微调pkuseg模型的train函数的源代码
05-19
以下是用于微调pkuseg模型的train函数的源代码： ```python import os import time import torch import argparse from tqdm import tqdm from pkuseg.models import BiLSTM_CRF from pkuseg.utils import load_model, load_data, batch_yield, evaluate def train(args): # 加载训练数据和字典 train_data, word2id, tag2id = load_data(args.data_dir, data_type='train') # 加载验证数据 dev_data = load_data(args.data_dir, data_type='dev', word2id=word2id, tag2id=tag2id) # 创建模型 model = BiLSTM_CRF(len(word2id), len(tag2id), args.embed_size, args.hidden_size, dropout=args.dropout, init_embedding=None) # 加载预训练的模型 if args.pretrained_model_path: print('Loading pretrained model from {}'.format(args.pretrained_model_path)) model = load_model(model, args.pretrained_model_path) # 将模型移动到GPU上 if torch.cuda.is_available(): model.cuda() # 设置优化器和学习率 optimizer = torch.optim.Adam(model.parameters(), lr=args.lr) # 开始训练 print('Start training...') best_dev_f1 = 0. for epoch in range(args.num_epochs): start_time = time.time() model.train() total_loss = 0. for i, (words, tags) in tqdm(enumerate(batch_yield(train_data, args.batch_size, word2id, tag2id))): # 将数据移动到GPU上 if torch.cuda.is_available(): words = words.cuda() tags = tags.cuda() # 前向传播和计算损失 loss = model.neg_log_likelihood(words, tags) total_loss += loss.item() # 反向传播和更新参数 optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), args.clip_grad) optimizer.step() # 计算验证集的F1值 dev_f1 = evaluate(model, dev_data, word2id, tag2id, batch_size=args.batch_size) # 保存最好的模型 if dev_f1 > best_dev_f1: best_dev_f1 = dev_f1 if not os.path.exists(args.save_dir): os.makedirs(args.save_dir) torch.save(model.state_dict(), os.path.join(args.save_dir, 'best_model.pth')) # 打印训练结果 print('Epoch: {}, Loss: {:.4f}, Dev F1: {:.4f}, Time: {:.2f}s'.format(epoch+1, total_loss, dev_f1, time.time()-start_time)) if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--data_dir', type=str, default='./data', help='Directory of training data.') parser.add_argument('--pretrained_model_path', type=str, default=None, help='Path of pretrained model.') parser.add_argument('--save_dir', type=str, default='./models', help='Directory to save the trained model.') parser.add_argument('--embed_size', type=int, default=100, help='Dimension of word embedding.') parser.add_argument('--hidden_size', type=int, default=128, help='Dimension of hidden layer.') parser.add_argument('--dropout', type=float, default=0.5, help='Dropout rate.') parser.add_argument('--clip_grad', type=float, default=5.0, help='Clip gradient.') parser.add_argument('--lr', type=float, default=0.001, help='Learning rate.') parser.add_argument('--batch_size', type=int, default=64, help='Batch size.') parser.add_argument('--num_epochs', type=int, default=10, help='Number of epochs.') args = parser.parse_args() train(args) ``` 这个函数的作用是用于在训练数据上微调pkuseg模型。它首先加载训练数据和字典，然后创建一个BiLSTM_CRF模型。如果指定了预训练的模型，则加载预训练的模型。接下来，设置优化器和学习率，并开始训练。在每个epoch中，模型进行前向传播和计算损失、反向传播和更新参数。在每个epoch结束时，计算验证集的F1值并保存最好的模型。最后，输出训练结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值