LLM
流浪德意志
千里之行始于足下!
展开
-
大模型实战营 笔记和作业集合
【大模型实战营Day4 XTuner大模型单卡低成本微调实战 - CSDN App】http://t.csdnimg.cn/HQMoP。【大模型实战营Day5 LMDeploy大模型量化部署实践 - CSDN App】http://t.csdnimg.cn/xpust。【大模型实战营Day6 OpenCompass 大模型评测 - CSDN App】http://t.csdnimg.cn/OeBh7。原创 2024-01-29 11:49:02 · 572 阅读 · 0 评论 -
大模型实战营Day6 作业
-tokenizer-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace tokenizer 路径(如果与模型路径相同,可以省略)--hf-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace 模型路径。--max-seq-len 2048 \ # 模型可以接受的最大序列长度。--max-out-len 16 \ # 生成的最大 token 数。原创 2024-01-21 12:09:33 · 441 阅读 · 0 评论 -
大模型实战营Day6 OpenCompass 大模型评测
怎么样测试大语言模型?自动化客观评测 人机交互评测 基于大模型的大模型评测。知识推理语言 长文本智能体多轮对话 情感认知价值观。模型选型 模型能力提升 真实应用场景效果评测。产业界:找出最适合产业应用的模型,赋能真是场景。普通用户: 了解诶模型的特色能力和实际效果。开发者:监控模型能力变化,指导优化模型生产。管理机构:减少大模型带来的社会风险。OpenCompass能力框架。提示词工程:问题的不同问法。前沿探索MMBench。垂直领域 法律 医疗。原创 2024-01-20 10:12:02 · 462 阅读 · 0 评论 -
大模型实战营Day5 作业
【代码】大模型实战营Day5 作业。原创 2024-01-14 20:35:58 · 516 阅读 · 0 评论 -
大模型实战营Day5 LMDeploy大模型量化部署实践
部署方案:技术点 (模型并行 transformer计算和访存优化 低比特量化 Continuous Batch Page Attention)方案(云端 移动端)轻量化 推理引擎 服务(api server gradio triton inference server)持续批处理 有状态的推理 高性能cuda kernel Blocked k/v cache分块缓存。计算密集 访存密集(大模型一般是访存密集)无缝对接open compass。有状态的推理 推理测的缓存。分块的k/v缓存 历史缓存。原创 2024-01-14 11:55:55 · 458 阅读 · 0 评论 -
大模型实战营Day4 作业
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要。(对自己的身份有了清晰的认知)替换成自己名字或昵称!原创 2024-01-13 23:32:35 · 440 阅读 · 1 评论 -
大模型实战营Day3 作业
选择一个垂直领域,收集该领域的专业资料构建专业知识库,并搭建专业问答助手,并在。复现课程知识库助手搭建过程 (截图)上成功部署(截图,并提供应用地址)原创 2024-01-13 21:25:31 · 467 阅读 · 0 评论 -
大模型实战营Day4 XTuner大模型单卡低成本微调实战
lora的原理:比起对大模型的参数全面训练,lora则是在保持原模型参数不变的情况下,在原本的linear旁新增一些可训练分支(Adapter)使得输出结果拟合训练样本,Adapter参数量远小于原本的linear,能大幅减低训练的显存消耗。训练LLM时,是为了让模型学会回答一个陈述句,因此相比指令跟随微调,增量预训练的对话模板中,system和user部分留空,只保留assistant。ZeRO优化,通过将训练过程中的参数,梯度和优化器状态切片保存,能够在多GPU训练时显著节省显存。原创 2024-01-13 16:54:12 · 522 阅读 · 0 评论 -
大模型实战营Day3 基于 InternLM 和 LangChain 搭建你的知识库
基于LangChain搭建RAG应用。基于RAG问答系统可能的优化点。LangChain框架介绍。原创 2024-01-13 09:39:49 · 415 阅读 · 0 评论 -
大模型实战营Day2 作业
1 使用 InternLM-Chat-7B 模型生成 300 字的小故事。2 熟悉 hugging face 下载功能,使用。2 完成 Lagent 工具调用 Demo 创作部署。的 config.json 文件到本地。1 完成浦语·灵笔的图文理解及创作部署。python 包,下载。原创 2024-01-07 18:53:48 · 507 阅读 · 0 评论 -
大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo
大模型:参数数量巨大,拥有庞大计算能力和参数规模的模型InternLM :是一个开源的轻量级训练框架,旨在支持模型预训练,而无需广泛的依赖关系。通过单一代码库,它支持在具有数千个 GPU 的大规模集群上进行预训练,并在单个 GPU 上进行微调,同时实现显著的性能优化。InternLM 在 1024 个 GPU 上训练期间实现了近 90% 的加速效率。基于InternLM和。Lagent。原创 2024-01-07 14:23:08 · 537 阅读 · 0 评论 -
大模型实战营Day1 书生·浦语大模型全链路开源体系
特点:丰富模型支持、丰富的API、分布式评测能力、便捷的数据集接口构建自己的数据集、快速迭代、用户遍布。显存优化:最低支持8GB显卡(2080、4060)-7B模型微调。部分参数微调LoRA:固定已有参数,加入新参数进行微调。智能体以大模型为核心,进行调用、规划、推理和执行。4.从模型到应用:智能客服、个人助手、行业应用。1.大模型为发展通用人工智能的重要途经。通用大模型:一个模型对应多模态多任务。3.InterLM-20B大模型性能。2.InterLM大模型开源历程。全球领先的大模型开源评测体系。原创 2024-01-07 12:42:49 · 474 阅读 · 0 评论