- 博客(13)
- 收藏
- 关注
RSS订阅原创 第一课笔记
4、亮点是超长上下文、综合性能全面提升、优秀的对话和创作体验、工具调用能力升级、突出的数理能力和使用的数据分析能力。5、AI助手规划行程、充满人文关怀的对话、富有想象力的创作、路线规划、计算能力高、数据分析（读表格，做简单概述）专用模型（针对特定任务，一个模型解决一个问题）到通用大模型（一个模型应对多种任务、多种模态）8、开放高质量语料、开放了预训练的框架、增量续训、有监督微调，8G显存可以微调7B模型。6、从模型到应用，模型选型-算力是否够参数微调-是否需要环境交互-模型评测。3、关键是高质量的语料。
2024-06-13 20:19:47
128
原创 第七课笔记
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-06-13 20:19:30
739
原创 第六课笔记
Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。包括大脑，作为控制器，承担记忆、思考和决策任务。动作：利用并执行工具以影响环境。Lagent：一个轻量级开源智能体框架，构建基于大语言模型的智能体。支持多种智能体范式、支持多种工具。AgentLego：多模态工具包，支持多个智能体框架，如Lagent、LangChain等。AutoGPT：输入-选择工具-人工干预-执行工具。2、时效性：数据过时，无法反映最新趋势和信息。
2024-06-13 20:19:08
142
原创 第五课笔记
1、模型高效推理：TurboMind，LLaMa结构模型的支持，continuous batch推理模式和可扩展的kv缓存管理器。3、量化：浮点数转换为整数或者其他离散形式，以减轻深度学习模型的存储和计算负担。2、模型量化压缩：W4A16量化（AWQ），讲FP17的模型权重量化为INT4。大模型推理是“访存密集”型任务，目前硬件计算速度远快于显存带宽。请求量、请求时间、token生成数量都不确定。2、支持了对多模态大模型llava。支持了更多的大模型。1、模型剪枝：移除模型中不必要或多余的组件，比如参数。
2024-06-13 20:18:40
135
原创 第四课笔记
让基模学习到新知识，如某个垂直领域的常识（不需标注），训练数据为文章、书籍、代码等。（需标注）训练数据是高质量的对话、问答数据。LoRA通过在原本的Linear旁新增一个支路，包含两个连续的小Linear，新增的这两个支路通常叫Adapter。步骤4：Tokenized数据：将数据分词，转化为模型可处理的格式。步骤5：添加Label：将输入数据与期望的输出配对，生成训练标签。步骤6：开始训练：使用处理后的数据进行模型训练，优化模型参数。步骤3：添加对话模板：添加系统、用户和助手的标签，明确角色。
2024-06-13 20:18:15
114
原创 第三课笔记
具体来说，当模型需要生成文本或者回答问题时，它会先从一个庞大的文档集合中检索出相关的信息，然后利用这些检索到的信息来指导文本的生成，从而提高预测的质量和准确性。RAG模型的优势在于通用性强、可实现即时的知识更新，以及通过端到端评估方法提供更高效和精准的信息服务。最后在生成阶段，系统会根据检索到的知识来生成最终的文本内容。4、RAG和微调的区别。RAG为非参数记忆。加载了知识库，包括实时更新的企业内部文档、专业技术文档等。嵌入优化、索引优化、查询优化、上下文管理、迭代检索、递归检索、自适应检索、LLM微调。
2024-06-13 20:17:58
171
原创 书生·浦语大模型实战营第二期第六课截图
1、使用lagent web demo让模型搜索书生·浦语2的技术报告。4、使用AgentLego WebUI检测上传图片中的物体。5、利用magicmaker生成一幅山水画。2、使用lagent自定义工具查询天气。3、利用agentlego输出图片。
2024-06-13 14:24:06
215
原创 书生·浦语大模型实战营第二期第五课截图
3、使用KV Cache进行量化。首先保持不加该参数（默认0.8），运行1.8B模型。此时显存占用为7856MB。2、使用Transformer库运行模型，再使用LMDeploy，速度比原生的transformer快。7、使用LMDeploy运行视觉多模态大模型llava。4、使用W4A16量化，显存降低为2472MB。1、LMDeploy模型对话(chat)参数设为0.5，显存占用6608MB。参数设为0.01，显存占用更少。5、命令行客户端连接API服务器。网页客户端连接API服务器。
2024-06-12 21:54:54
94
原创 书生·浦语大模型实战营第二期第四课截图
转换为huggingface文件后严重过拟合，回复的话就只有 “我是帆帆大佬的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦” 这句话。没有进行微调前，原模型是能够输出有逻辑的回复，并且也不会认为他是我特有的小助手。因此可以很明显的看出两者之间的差异性。第四课xtuner微调。
2024-06-11 23:01:41
197
原创 书生·浦语大模型实战营第二期第三课截图
根据第二课里面部署的模型不知道什么是第一议题的情况，特意下载了关于第一议题内容的文档作为知识库，发现一是茴香豆会根据问题回答超出知识库的内容，二是茴香豆回答得相对于知识库比较多，比如问第一议题是什么，茴香豆还会加上第一议题的目的。
2024-06-04 22:50:31
148
原创 书生·浦语大模型实战营第二期第二课截图
2、找到了书生·浦语 1 处表现不佳的案例，比如我问“第一议题”的概念，他不清楚。模型生成 300 字的小故事。
2024-06-02 16:59:51
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人