Firefly多轮对话微调书生·浦语InternLM-7B实践

最新推荐文章于 2024-10-02 00:23:27 发布
最新推荐文章于 2024-10-02 00:23:27 发布
阅读量221 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 人工智能 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134300581
版权

本篇文章主要介绍使用Firefly项目对书生·浦语InternLM-7B进行微调的工作。

图片

Firefly项目链接：

https://github.com/yangjianxin1/Firefly

firefly-internlm-7b模型权重：

https://huggingface.co/YeungNLP/firefly-internlm-7b

01

书生·浦语InternLM

InternLM ，即书生·浦语大模型，是由上海人工智能实验室开发的，包含面向实用场景的70亿参数基础模型与对话模型 （InternLM-7B）。模型具有以下特点：

  • 使用上万亿高质量语料，建立模型超强知识体系；

  • 支持8k语境窗口长度，实现更长输入与更强推理体验；

  • 通用工具调用能力，支持用户灵活自助搭建流程；

该团队还开源了大模型评测工具OpenComp

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
Firefly(流萤): 中文对话式大语言模型
zenRRan的博客
04-07 1748
来自：YeungNLP在本文中，笔者将介绍关于Firefly（流萤）模型的工作，一个中文对话式大语言模型。我们使用较小的模型参数量，如1.4B和2.6B，实现了不错的生成效果。项目地址：https://github.com/yangjianxin1/Firefly进NLP群—>加入NLP交流群(备注nips/emnlp/nlpcc进入对应投稿群)01项目简介Firefly（流萤）是一个开源的...
Baichuan-13B 介绍及微调
dzysunshine的博客
07-19 5978
2023年7月11日，百川智能发布Baichuan-13B！
用Firefly微调大模型踩坑记录
Chi0217的博客
08-13 984
2.然后就看requirements.txt，要注意一定不能直接用pip install requirements.txt来装，这里有两个问题，一个是这句语法我记得是有问题的，应该是pip install -r requirements.txt，还有一个就是中间有的包安装过程中互相依赖有问题，中断了可能找不回来，所以建议一个个手动装。第一个需要记录的点：微调大模型前面配环境的时候可以不装cudnn，后面装pytorch的时候应该自己带了torch+cudnn的包。1.首先git clone，这个没啥说的。
大模型常见工程化工具：微调、量化、部署、Agent、RAG等
weixin_42357472的博客
06-07 1279
包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、NeuralCompressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、本地运行（MLX、Llama.cpp、Ollama、LMStudio）、Agent及RAG（检索增强生成）框架（LlamaIndex, CrewAI, OpenDevin）、评测（LMSys,
LLMs之SWIFT：SWIFT的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-13 1019
​ LLMs之SWIFT：SWIFT的简介、安装和使用方法、案例应用之详细攻略 目录 SWIFT的简介 SWIFT的简介 SWIFT支持300+ LLM和80+ MLLM（多模态大模型）的训练(预训练、微调、对齐)、推理、评测和部署。开发者可以直接将我们的框架应用到自己的Research和生产环境中，实现模型训练评测到应用的完整链路。我们除支持了PEFT提供的轻量训练方案外，也提供了一个完整的Adapters库以支持最新的训练技术，如NEFTune
整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测_基于大语言模型的网络自动配置平台的设计与开发
2401_84208172的博客
07-24 1621
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！
盘点2023年Q3的开源模型，这些值得推荐！
u012744245的博客
10-19 2164
文章目录盘点2023年Q3「值得推荐」的开源模型！基座模型LLaMA 2Baichuan 2ChatGLM2-6BQwen-14BInternLM-20BTigerbot-13BTigerbot-70B多模态模型LLaVA 1.5VisualGLM-6BVisCPMNexT-GPTMiniGPT-5Qwen-VLAgent开发AgentsAgentVerseAutoAgentsMetaGPTAutoGenAutoGPTAgentGPT微调框架OpenLLMLLaMA-Efficient-TuningXTun
大模型微调秘籍：炼丹心得十问，揭秘调参高手的不传之秘！
2401_85375186的博客
09-08 791
简单任务rank=16，alpha=32一般就ok了，Lightning AI有一篇技术分享专门讨论了，lora的参数设定问题。根据任务难度，设定。这句话有点废。具体点，任务难度可以根据模型计算困惑度来衡量。你可以和一般任务对比，自行摸索一个阀值。这是定量。定性，如果提示词能够解决，难度较低，如果通过提示词不能解决，难度是有点，是中等，还是高根据模型已有的先验知识来定。所以一般难度100-300条数据就ok了，中等，困难问题一般需要1000以上，这个以上可能是3000，8000，1w或者10w加。
ChatGPT中文LLM相关的开源大模型资源汇总
weixin_40280870的博客
07-17 2508
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本文旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料分享给大家！
About Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA)，支持微调Llma2、Llama、Qwen、B
08-18
支持微调XVERSE-13B。 开源Firefly项目多轮对话微调的firefly-chatglm2-6b。 支持微调通义千问Qwen-7B，该模型在各个中英文榜单，...支持训练LLaMA-2、ChatGLM2、Baichuan、通义千问Qwen-7B、书生·浦语InternLM、L
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
开源模型应用落地-qwen-7b-chat-LoRA微调-Firefly（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-01 1万+
使用开源的Firefly大模型训练项目微调qwen-7b-chat模型
扩散模型（2）--1
m0_63860007的博客
09-29 853
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1363
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 680
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
大模型~合集5
最新发布
whaosoft~aiotの开发板商城
10-02 996
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1020
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
E: Unable to locate package firefly-3399pronpu-driver
03-15
E: Unable to locate package firefly-3399pronpu-driver 是一个错误提示，意味着系统无法找到名为 firefly-3399pronpu-driver 的软件包。 可能的原因是： 1. 软件包名称拼写错误或者不存在。 2. 软件源配置有误，导致无法获取到该软件包。 解决方法： 1. 确认软件包名称是否正确，可以尝试重新输入或者查看官方文档。 2. 检查软件源配置，确保配置正确并且可以正常访问。 如果你需要更具体的帮助，请提供更多信息，比如你使用的操作系统和软件源配置等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值