- 博客(7)
- 收藏
- 关注
RSS订阅原创 第七节课——OpenCompass 大模型评测实战（笔记+作业）
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-06-12 12:00:51
626
原创 第六节课——Lagent & AgentLego 智能体应用搭建（笔记+作业）
结果如下图所示：实现一个调用和风天气 API 的工具以完成实时天气查询的功能:在等待 RTMDet-Large 权重下载并推理完成后，我们就可以看到如下输出以及一张位于 /root/agent 名为 road_detection_direct.jpg 的图片：
2024-06-11 21:53:05
236
原创 第五节课——LMDeploy 量化部署 LLM 实践（笔记+作业）
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
2024-06-10 16:34:47
338
原创 第四节课——XTuner 微调 LLM:1.8B、多模态、Agent（笔记+作业）
XTuner微调框架，是一个打包好的大模型微调工具箱。功能亮点：但是训练出来的数据格式是pytorch格式的，因此需要将其转化为更常见的Huggingface格式格式转化成功：在 XTuner 中也是提供了一键整合的指令：可以看到模型已经严重过拟合，回复的话就只有 “我是xx大佬的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦” 这句话，可以很明显的看出与原模型的差异。
2024-06-07 15:53:15
301
原创 第三节课——“茴香豆“:零代码搭建你的 RAG 智能助理（笔记+作业）
RAG技术通过检索与用户输入相关的信息片段，并结合外部技术局库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程。在此测试中很好的展示了茴香豆的工作流程（蓝色部分为提示词工程，黄色内容为模型回答），使用RAG后会从网页上寻找资料来完善自己的答案。将文本及其他数据通过其他预训练的模型转换为固定长度的向量表示，这些向量能够捕捉文本的语义信息。3.【向量表示的优化】
2024-06-05 16:50:44
265
原创 第二节课——轻松分钟玩转书生·浦语大模型趣味 Demo（作业+课堂实例展示）
分析：很明显，模型的分析能力与实际图所代表的意思有一些出入。虽然同为动漫风格，但是我给的是“沧元图”的剧照而不是哪吒降世的剧照，分析的倒是很不错，细节方面也比较完整。”和浦语对话，和书生·浦语对话，并找到书生·浦语 1 处表现不佳的案例(比如指令遵循表现不佳的案例)八戒模型忘记截图了...没想到升级配置到30%A100会清空前面的内容，从Lagent开始截图。模型生成 300 字的小故事。问题以反馈，希望模型越来越好！2.使用“书生·浦语 Web。
2024-06-05 12:03:10
172
原创 第一节课——书生·浦语大模型全链路开源开放体系（笔记）
大模型由专用模型和通用大模型两类应用，最早是从前者开始，一个模型针对一个问题进行解决；近两年来通用大模型（例如chatGPT等）成为追逐的热点，被认为是通往人工智能的关键途径。
2024-06-02 17:41:43
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人