大模型实战营Day4 XTuner 大模型单卡低成本微调实战

本次讲师是一位从事算法工作的优秀贡献者。

一起来看看吧!

本次课程内容主要有:

我将在此整理前三节的内容,第四节放在作业章节进行讲解:

同第三节的建立数据库中所提及到的,如果通用大模型在专用领域表现能力不强,如何改进——

建立知识库或者微调,本节课进行的则是微调。

构建角色和对话模板,这项工作由Xtuner做过了,可以借此一键完成。

在预测阶段,这个不同角色模型的对话模板,两种模型的格式有所区别:

指令微调采用一问一答的方式进行:

下面还有增量微调:

其训练的数据是陈述句,然后将前两个角色内容留空,仍然是计算Assiant部分的损失。

LoRA的原理是在线性层平行增加一个两个小层的分支,因而能够减少训练的耗费。

有三种微调的方式,后二者是Xtuner提供的:

第三者在显存和GPU之间进行了一个整合,如果GPU满会到显存里面跑,速度会慢一些。

Xtuner为书生浦语提供的微调框架:

其能支持的模型的硬件资源比较广泛

并且在不同的卡上能够减少资源消耗:

今天的课程就到此为止,觉得有用的话点赞收藏加关注哦!

欢迎关注无神,一起学大模型和AI方面的前沿知识!

  • 7
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
报童模型是一种用于库存管理的经典模型,它用于确定在需求不确定的情况下,报纸或杂志等商品的订货量。在 MATLAB 中,你可以实现报童模型来优化库存管理决策。 以下是一个简单的报童模型的 MATLAB 代码示例: ```matlab % 报童模型 demand = [10 15 12 18 20 14 16]; % 每天的需求量 cost_per_unit = 2; % 单位商品成本 selling_price = 5; % 单位售价 min_cost = Inf; % 初始化最小成本为无穷大 best_order = 0; % 初始化最佳订货量为0 for order = 1:max(demand) inventory = order; total_cost = 0; for day = 1:length(demand) sales = min(demand(day), inventory); % 当天销售量取决于需求和库存量 lost_sales = demand(day) - sales; % 当天丢失的销售量 inventory = inventory - sales; % 更新库存量 total_cost = total_cost + cost_per_unit * (order - inventory) + selling_price * sales; % 计算总成本 end if total_cost < min_cost min_cost = total_cost; best_order = order; end end disp(['最佳订货量为:' num2str(best_order)]); disp(['最小成本为:' num2str(min_cost)]); ``` 以上代码中,`demand` 表示每天的需求量,`cost_per_unit` 表示单位商品成本,`selling_price` 表示单位售价。代码通过遍历不同的订货量,计算总成本,并记录最小成本和对应的最佳订货量。 你可以根据自己的需求修改代码中的输入参数,运行代码即可得到最佳订货量和最小成本。希望对你有所帮助!如有需要,请继续提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值