山东大学项目实训（十一）:使用LlaMa-Factory进行lora微调

已于 2024-05-31 13:29:19 修改
阅读量239 收藏
点赞数 1
文章标签： 语言模型
于 2024-05-31 11:52:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74379991/article/details/139343351
版权

试了很多不同格式的数据集，发现只是将问题放在instruction里面，input空着效果并不好，于是尝试了把用户输入放在input里面，instruction作为提示词

轮数太低效果不好

训练50轮

跑的过程：

在LLama中预览模型，可以输出固定格式结果

但是现在还存在一些问题，固定格式输出并不稳定，聊着聊着他就忘了这件事，后续还要再进行改进。

导出模型并加载到网页中

基本保持输出格式没有问题

玄津承
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
llama-factory一个数据微调用例
05-26
因此，使用"llama-factory"进行数据微调的目的是提升LoRa通信系统的性能，比如提高信号解码准确性、增强网络覆盖范围或者优化能源效率。通过精细调整模型，可以更好地适应LoRa信号在复杂环境中的特性，从而提升整体...
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
yuanlulu的博客
07-02 1152
LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
中医问答机器人-基于ChatGLM3-Base+LLaMA-Factory微调的中医问答机器人系统实现-附项目源码+流程教程
07-07
中医问答机器人_基于ChatGLM3-Base+LLaMA-Factory微调的中医问答机器人系统实现_附项目源码+流程教程_优质项目实战
LLMs-入门四：基于LLaMA-Efficient-Tuning对LLMs做微调
10-07
json
chinese-llama-plus-lora-33b（2）
10-12
标题“chinese-llama-plus-lora-33b（2）”暗示我们正在讨论一个针对中文处理的特定工具或库，可能是一个自然语言处理（NLP）项目，结合了Llama和LoRa两个概念。Llama可能指的是某种语言模型或处理框架，而LoRa可能...
算机科学与技术 基于Java的医务室病例管理小程序的设计与实现.docx
07-20
算机科学与技术 基于Java的医务室病例管理小程序的设计与实现
物联网工程_基于NBIOT的白洋淀水质实时监测系统.docx
07-20
物联网工程_基于NBIOT的白洋淀水质实时监测系统
国企数字化转型解读及赋能三套材料.pptx
07-20
国企数字化转型解读及赋能三套材料.pptx
搞金融的同学三小时快速入门python从零入门量化交易系列.doc
最新发布
07-20
Python
某国字头央企市场化与数字化转型(交付版).pptx
07-20
某国字头央企市场化与数字化转型(交付版).pptx
java基于ssm+jsp网上药品售卖系统源码 带毕业论文+PPT
07-20
【资源说明】 1、开发环境：ssm框架；内含Mysql数据库；JSP技术 2、该资源包括项目的全部源码，下载可以直接使用！ 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 4、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
1203GM-VB一种N-Channel沟道SOP8封装MOS管
07-20
1203GM-VB；Package：SOP8；Configuration：Single-N-Channel；VDS：30V；VGS：20（±V）；Vth：1.7V；RDS(ON)=11mΩ@VGS=4.5V；RDS(ON)=8mΩ@VGS=10V；ID：13A；Technology：Trench；
开启MATLAB Web API之门：打造自定义接口的艺术
07-20
Matlab是由MathWorks公司开发的一款高性能的数值计算和可视化软件环境。它被广泛应用于工程计算、算法开发、数据分析、可视化、仿真以及其他数学和科学领域。Matlab的核心特点是其强大的矩阵操作能力，这使得它在矩阵计算和线性代数方面非常高效。 ### Matlab的主要特点包括： 1. **矩阵操作**：Matlab的语法是基于矩阵的，这使得进行复杂的矩阵运算变得简单直观。 2. **编程语言**：Matlab拥有自己的编程语言，支持变量、控制结构（如循环和条件语句）、函数和数据结构。 3. **数值计算**：提供广泛的数值分析功能，包括傅里叶分析、数值积分、微分方程求解等。 4. **符号计算**：Matlab的Symbolic Math Toolbox支持符号运算，可以进行符号微分、积分和方程求解等。 5. **数据可视化**：Matlab提供了丰富的图形和可视化工具，可以创建二维和三维图形、图表和动画。 6. **算法开发**：用户可以利用Matlab开发和测试算法，然后将其嵌入到其他应用程序中。 7. **模型仿真**：Matlab的Simulink提供了一个交互式
全国大学生电子设计竞赛心得体会感悟.md
07-20
全国大学生电子设计竞赛心得体会感悟.md
wx470校园保修系统小程序-springboot+vue+uniapp.zip（可运行源码+sql文件+文档）
07-20
基于web的校园报修系统使用Java语言进行编码，使用Mysql创建数据表保存本系统产生的数据。系统可以提供信息显示和相应服务，总之，基于web的校园报修系统集中管理信息，有着保密性强，效率高，存储空间大，成本低等诸多优点。它可以降低信息管理成本，实现信息管理计算机化。 学生信息管理页面，此页面提供给管理员的功能有：学生信息的查询管理，可以删除学生信息、修改学生信息、新增学生信息，还进行了对用户名称的模糊查询的条件。维修人员管理页面，此页面提供给管理员的功能有：查看已发布的维修人员数据，修改维修人员，维修人员作废，即可删除，还进行了对维修人员名称的模糊查询 维修人员信息的类型查询等等一些条件。故障上报管理页面，此页面提供给管理员的功能有：根据故障上报进行条件查询，还可以对故障上报进行新增、修改、查询操作等等。论坛信息管理页面，此页面提供给管理员的功能有：根据论坛信息进行新增、修改、查询操作等等。
半自动组装线-迴流線(3D）_包括零件图_机械3D图可修改打包下载.zip
07-20
半自动组装线-迴流線(3D）_包括零件图_机械3D图可修改打包下载.zip
驾驭动力之芯：PIC微控制器电机控制实战指南
07-20
PLC是可编程逻辑控制器（Programmable Logic Controller）的缩写，它是一种用于自动化控制的数字电子设备。PLC广泛应用于工业控制领域，用于控制机械加工、生产线、机器人等自动化设备。 PLC的主要特点包括： 1. **可编程性**：PLC的程序可以根据需要进行编写和修改，以适应不同的控制需求。 2. **实时性**：PLC能够快速响应输入信号的变化，并及时输出控制信号。 3. **可靠性**：PLC设计用于工业环境，具有较高的抗干扰能力和稳定性。 4. **灵活性**：PLC可以通过编程实现复杂的控制逻辑，适应不同的控制场景。 5. **扩展性**：PLC系统可以通过添加模块来扩展其功能和容量。 6. **易于维护**：PLC的程序可以通过软件工具进行监控和修改，便于维护和故障诊断。 PLC通常由以下部分组成： - **中央处理单元（CPU）**：执行程序逻辑和处理数据。 - **输入/输出（I/O）模块**：接收外部信号并输出控制信号。 - **电源模块**：为PLC系统提供稳定的电源。 - **编程工具**：用于编写、修改和下载PLC程序的软件。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值