- 博客(3)
- 收藏
- 关注
RSS订阅原创 《Llama3》-LMDeploy 高效部署 Llama3 实践
运行完毕后，在~/model/目录下可以看到生成的 Meta-Llama-3-8B-Instruct_4bit 模型。运行完毕后，出现问题输入提示，可以开始问Llama3问题了。2、LMDeploy Chat CLI 工具。通过以下指令可以运行刚刚创建的4bit模型。#安装lmdeploy最新版。1、安装LMDeploy。3、使用W4A16量化。
2024-05-15 20:07:53
462
原创 《Llama3》-XTuner 微调 Llama3 个人小助手认知
"output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？经过20多分钟的运行，正常。"system": "你是一个懂中文的小助手","system": "你是一个懂中文的小助手","input": "你是（请用中文回答）","input": "你是（请用中文回答）",1、自我认知训练数据集准备。
2024-05-12 00:01:26
441
原创 参加《Llama3五一超级课堂》
该课程是由：机智流、Datawhale、ModelScope联合举办的，同时由书生·浦语社区 提供A100 的算力支持(开源大模型技术如火如荼，趁着五一假期，报名参加了《Llama3五一超级课堂》，课程很赞，收获匪浅。在书生·浦语站点上，无须下载，只要做一个软连接，就可以使用Llama3大模型，方便啊！在书生·浦语站点上，执行脚本，速度真是飞快，比自己家里的台式机要快太多了。刚开始运行，还报了Out Of Memory错误，以上，简单3步就完成了Llama3的运行了。看着社区的提示，重新运行，一切正常。
2024-05-11 22:48:22
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人