- 博客(7)
- 收藏
- 关注
RSS订阅原创 学习笔记：书生·浦语实战营第二期第七课
2.2.4 Shanghai AI Lab 自研的高质量大模型评测基准示例。2.2.2 评价体系涵盖的内容。2.2.1 开源历程。2.2.3 评测过程。
2024-04-24 16:19:28
401
原创 学习笔记：书生·浦语实战营第二期第六课
Lagent是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。支持多种智能体范式，如 AutoGPT，ReWoo，ReAct，也支持多种工具，如谷歌搜索、Python解释器等AgentLego是一个多模态工具包，可以像乐高积木一样快速简便地拓展自定义工具，从而组装出自己的智能体，支持多个智能体框架，如Lagent、LangChain、 Transformers Agents
2024-04-23 16:56:44
2086
原创 学习笔记：书生·浦语实战营第二期第五课
模型高效推理：TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，其主要功能包括LLaMa结构模型的支持、continuous batch推理模式、可扩展的 KV 缓存管理模型量化压缩：W4A16量化（AWQ），将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。Weight Only 是指仅量化权重，数值计算依然采用 FP16（需要将 INT4 权重反量化）服务化部署。
2024-04-17 10:56:10
1897
原创 学习笔记：书生·浦语实战营第二期第四课
LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调：让基座模型学习到一些新知识，如某个垂类领域的常识，训练数据可以是文章、书籍、代码等指令跟随微调：让模型学会对话模板，根据人类指令进行对话，训练数据可以是高质量的对话、问答数据微调方案比较：LoRA & QLoRA。
2024-04-15 16:25:37
410
1
原创 学习笔记：书生·浦语实战营第二期第三课
2.2.1 茴香豆是什么茴香豆是一个基于大语言模型的领域知识助手，由书生·浦语团队开发并开源。通过结合RAG技术，使得大模型能够理解问题并高效地给出准确的回答，满足特定知识领域相关的复杂查询要求。专门用于即时通讯工具中的群聊场景优化，可以提供及时准确的技术支持和自动化问答服务。（感觉可以类比购物APP中的AI客服？有时候经常会有买家问发什么快递、从哪里发货等高度重复性的问题，这个时候AI客服就可以派上用场了，可以比较快地响应回复。不过AI客服是一对一的交互，这里的茴香豆针对的是群聊中的问答场景）
2024-04-08 15:27:26
2263
原创 学习笔记：书生·浦语实战营第二期第二课
本次课程的重点在于Demo实战，具体可分为4个部分：其中，第一个内容是基础作业，需要使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事（据我所知，不是所有模型版本都有1.8B的，这个1.8B的模型应该是专门开源出来便于大家实践的，相较于7B和20B，这个1.8B的模型就小很多，在本地也可以比较方便地实现）；第二个内容是实战作业魔搭社区OpenXLab浦源 - 模型中心）都在官方网站上开源了，也有详细的教程，感兴趣的可以去关注一下；第三个内容和第四个内容是进阶任务。
2024-04-05 11:51:13
856
1
原创 学习笔记：书生·浦语实战营第二期第一课
InternLM2有效地捕获了长程依赖关系，采用了监督微调（SFT）和一种新的基于人类反馈的条件在线强化学习（COOL RLHF）策略，首先在4k的基础数据上进行训练，然后在预训练和微调阶段提升到32k，在各类测试任务中表现出色。技术报告介绍了InternLM2，该模型在InternLM的基础上，通过创新的预训练和优化技术，在六个维度和三十个基准的综合评估、长上下文建模和开放式主观评估方面达到了比InternLM更好的效果。7B：为轻量级的研究和应用提供了一个轻便且性能不俗的模型。2.3 全链条开放体系。
2024-04-01 16:31:20
329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人