- 博客(8)
- 收藏
- 关注
RSS订阅原创 LMDeploy 量化部署实践
5.转发端口后访问localhost:6006，然后就可以嘻嘻了。2.测试模型是否完整可运行。3.成功启动API服务。
2024-08-26 21:06:10
113
原创 浦语提示词工程实践
2.创建新窗口，重新激活虚拟环境并使用LMDeploy进行部署。1.创建激活虚拟环境并激活(需要好久~)3.使用Python脚本测试是否部署成功。5.设置优化Prompt，并询问问题。4.克隆图形化界面项目并运行与访问。
2024-08-26 18:27:59
825
原创 8G 显存玩转书生大模型 Demo
在终端中输入文档中的代码（第一次无限出现库和模块的缺失，安装完一个下一次有提示缺失其他的.....删掉开发机重新建立一个就没问题了）访问localhost:6006。
2024-08-25 22:33:32
110
原创 书生·浦语大模型全链路开源开放体系：助力学术研究与行业应用
InternEvo是核心的预训练框架，支持大规模的分布式训练。它提供标准化的评测指标和基准数据集，并支持跨领域评测，帮助开发者评估模型在不同任务中的表现，为模型优化提供重要参考。该框架还提供了模型压缩与量化工具，有效降低了推理时的计算资源消耗，并支持异构硬件加速和模型裁剪技术，优化了推理性能。书生·浦语体系通过其开源工具和框架，提供了从数据准备到模型应用的完整解决方案，帮助开发者实现从理论到实际应用的无缝连接。这一开放平台不仅简化了AI模型的开发流程，还为不同领域的应用场景提供了强大的支持。
2024-08-25 20:50:21
111
原创 L0-Python
1.给本地与开发机安装python插件（在上一关已建立连接，所以跳过连接过程）4.通过命令启动debug服务。2.给py代码打断点。
2024-08-23 20:23:01
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人