- 博客(8)
- 收藏
- 关注
RSS订阅原创 1.书生·浦语大模型全链路开源开放体系
—算力不够——》部分参数微调。1.根据榜单选基座模型——任务复杂、算力足够——》需要做全参数微调、增量预训练。3.增量预训练：让基座模型学习垂直领域新知识，用书籍、文章、代码等。2.是否需要与环境交互：构建智能体、评测、部署。2021-2022年，构建专用模型。近两年，多任务多模态的通用大模型。4.微调：理解指令，用问答对。
2024-06-18 18:36:12
217
原创 5.LMDeploy 量化部署 LLM 实践
5.0.1 部署挑战大模型计算量大，部署困难。20B的模型计算一个token需要进行406亿次浮点数计算。前向推理计算量 = 2*参数量 + 2*模型层数*记忆长度*注意力输出的维度，浮点数运算数量内存开销大。访存大。5.0.2 部署方法：模型剪枝知识蒸馏量化。
2024-06-06 17:30:04
102
原创 3.“茴香豆“:零代码搭建你的 RAG 智能助理
RAG就像搜索引擎，用户输入内容就像提示，在外部知识库搜寻内容，通过检索和生成提高LLM性能。大模型胡说八道、知识过时和缺乏推理逻辑的问题。RAG因为没有训练过程，借助外部知识库提供更准确的回答，成本低。
2024-06-04 12:11:04
714
原创 2.轻松分钟玩转书生·浦语大模型趣味 Demo
创作300字小故事：学习和熟练开发机使用、部署八戒：部署自定义模型、本地端口映射lagent：智能体辅助1.1 基本工作：创建基础环境demo、换源、安装demo所需包1.2 下载和启动模型按路径创建文件夹demo，cli_demo.py和download_mini.py，并进入到对应文件目录中。download_mini.py进行模型下载，cli_demo.py启动模型。完整代码见课程链接Tutorial/helloworld/hello_world.md at camp2 · InternLM/T
2024-06-03 11:49:18
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人