- 博客(2)
- 收藏
- 关注
RSS订阅原创 “伶荔”(Linly) 项目发布中文LLaMA2模型
随着大型语言模型在众多领域展现出巨大的应用潜力，基础模型也成为人们关注的焦点。近期，许多机构都推出了中文基础模型，如GLM、baichuan等，这些模型使用了大量算力构建，他们的公开也为社区研究者们提供了极大便利。同时，也有许多具有代表性的模型都主要基于英文训练（例如LLaMA-1&2、Falcon），虽然他们在英文上能力强大，但是跨语言性能较弱。
2023-08-03 13:48:20
495
原创 Llama2 指令精调脚本
这里列出的其他训练相关超参数（尤其是学习率，以及和total batch size大小相关的参数）仅供参考。请在实际使用时根据数据情况以及硬件条件进行配置。该脚本支持以下训练模式。不支持未在表格中的模式，如要修改请自行debug。其中一些参数的含义不言自明。########参数部分################启动命令########训练后的LoRA权重和配置存放。进行指令精调，默认使用单卡。，可用于后续的合并流程。
2023-08-01 22:15:31
630
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人