有哪些评价LLM LoRA后的公开数据和测评方法

于 2025-03-13 15:23:19 发布
阅读量68 收藏 1
点赞数 1
分类专栏： 教学 2021 AI python 2024大模型以及算力 文章标签： 人工智能 学习 python pycharm 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/146231861
版权

有哪些评价LLM LoRA后的公开数据和测评方法

公开数据

  • 与基础任务相关的数据集：如NaturalQuestions、Squad等在评价LLM LoRA后仍可使用。在经过LoRA微调后，模型在这些数据集上的表现可以反映出其在基础的问答、阅读理解等任务上的性能提升情况。例如，如果一个经过LoRA微调的模型在NaturalQuestions数据集上的回答准确率提高了，说明LoRA在提升模型基础问答能力方面有积极作用。
  • 与新兴能力相关的数据集：像GSM8K、TruthfulQA等数据集对于评估LLM LoRA后的新兴能力很关键。以GSM8K为例，如果LoRA微调后的模型在解决小学数学题的准确率和推理步骤的完整性上有所提高，表明LoRA有助于增强模型的数学推理能力；而在TruthfulQA上的表现，能反映出模型生成真实答案的能力是否因LoRA微调而提升。
  • 与增强型能力相关的数据集：HotpotQA、ToolQA等可用于考察LLM LoRA后的增强型
了解本专栏 订阅专栏 解锁全文
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)
AGI
10-14 1622
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
大模型LLM训练的数据集
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-07 3924
随着新型AI技术的快速发展，模型训练数据集的相关文档质量有所下降。模型内部到底有什么秘密？它们又是如何组建的？本文综合整理并分析了现代大型语言模型的训练数据集。
最全面的LLM评测平台大全：评测平台详解
最新发布
Xtaiyang的博客
01-16 1238
在人工智能快速发展的今天，大语言模型（LLM）的性能评估变得越来越重要。本文为您整理了目前最具影响力的LLM评测平台，帮助您全面了解不同模型的优势和特点。无论您是AI研究者、开发者还是产品经理，这份指南都能为您提供有价值的参考，助您做出更明智的选择。
LLM模型之高质量数据选择和微调方法
python122_的博客
07-25 938
其实就是去掉重复度高的数据集。但是实际场景中，即使是重复度高的数据集中也会包含大量不重复的内容，这部分内容对拓展模型知识范围有用，因此不如直接对数据去重好用。类似的还有《Data curation via joint example selection further accelerates multimodal learning》，通过模型loss筛选出最有价值的数据集单独进行训练，减少了训练数据、降低了迭代次数，提高了效率。
【保姆级教程】使用lora微调LLM并在truthfulQA数据集评估（Part 1.微调训练）
qq_35328355的博客
11-22 1248
在本期blog中，我们将逐步完成下面的任务： **1. 使用lora微调`gemma-2b-it`模型，数据集为`Alpaca_cleaned_data` 2. 在`truthfulQA`数据集上评估模型效果**
【LLM】金融场景的大模型Lora微调实战
发现问题，并解决问题，批判性思维
07-08 8846
金融行业需要垂直领域LLM，因为存在金融安全和数据大多数存储在本地，在风控、精度、实时性有要求 （1）500亿参数的BloombergGPT BloombergGPT金融大模型也是用transformer架构，用decoder路线， 构建目前规模最大的金融数据集FINPILE，对通用文本+金融知识的混合训练。 用了512块40GB的A100 GPU，训练中备份了4个模型，每个模型分了128块GPU。 （2）度小满5月的【源轩大模型】 使用hybrid-tuning方式，首个千亿参数金融大模型 在通用能力评测
打造自己的大模型｜02篇LoRA微调大模型的评测和导出
Langchain的博客
08-23 1376
在之前的的文章《打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析》，我们通过训练了9.5小时，完成了Llama3-8B-Instruct的LoRA。本篇文章，我们将继续利用LLaMA-Factory，进行大模型的评测和导出。
【LLM大模型】chatglm2-6b在P40上做LORA微调
2301_81888214的博客
07-04 1167
大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。
【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 4467
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
【保姆级教程】使用lora微调LLM并在truthfulQA数据集评估（Part 2.在truthfulQA上评估LLM）
qq_35328355的博客
11-22 463
truthfulQA数据集格式如下所示question : 旨在引起模仿性虚假（错误答案）的问题字符串。choices : 恰好4个答案选择字符串。label : 一个指示正确答案在 choices 中索引的 int32。所以我们只需要能够格式化读取json，并输给模型就可以，注意，**我们的思路是，让模型从选项中自己挑答案，因此，要精心设置prompt。**然后把模型的选择与参考答案做对比。
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
丨汀、的博客
05-21 1295
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
热门推荐
ZJQ的博客
07-10 5万+
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
ZJQ的博客
07-07 4万+
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
算力共享方案
ZJQ的博客
07-15 4万+
平台的整体方案不但包括集群系统网络、存储、安全、可视化设备、计算服务器等硬件算力资源池的构建而且包含算力调度系统、算力交互门户、算力运行基础环境和算力应用等软件系统构建，这是一个庞大而系统化的工程。在算力资源池规划中，根据需求可分为工业设计、AI研发所需的可视化资源池，科学计算资源池和AI训练推理资源池，这些资源池使用统一的存储空间，按照其业务特性进行个性化网络配置，为平台提供算力基础能力。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
Megatron-LM在训练过程中怎么保证参数传递并保证每块GPU都在工作
ZJQ的博客
07-24 4万+
Megatron-LM通过数据并行、张量并行和流水线并行等多种并行策略的综合运用，确保了训练过程中每块GPU都在工作，实现了高效的并行训练。这种分布式训练框架特别适用于训练超大规模的语言模型，如GPT-3等。
区块链技术和系统；ZKRollup ；区块链交易打包和审查
ZJQ的博客
07-19 4万+
区块链技术作为一种去中心化、不可篡改且高度安全的分布式账本技术，近年来在统等多个领域展现出了巨大的应用潜力。：熟悉区块链的基本概念，如等核心技术。能够解释区块链如何工作，以及它的去中心化、透明性和安全性的基本原理。：了解并实践过至少一种或多种主流区块链平台，如等。熟悉这些平台的特性、开发环境、交易模型、智能合约编写语言（如Solidity）等。：能够，理解其在区块链上自动执行合约条款的重要性。了解智能合约的安全隐患，如重入攻击、时间戳依赖等，并知道如何避免这些问题。
算力共享：环形结构的算力分配策略
ZJQ的博客
07-25 4万+
因此，在这个例子中，节点将首先根据它们的内存大小进行降序排序，如果内存大小相同，则根据节点ID进行降序排序（尽管在内存大小不同的情况下，节点ID的比较通常不会影响最终排序结果）。是基于前一个分区的结束位置更新的，并且每个分区的结束位置都是基于内存比例计算的，因此所有分区的总和可能不会恰好等于 1（即整个资源池的比例）。由于元组在Python中是按位置进行比较的，因此当用作排序关键字时，会首先比较元组的第一个元素（内存大小），如果两个元素的内存大小相同，则会比较第二个元素（节点ID）。参数指定了排序的方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值