- 博客(5)
- 收藏
- 关注
原创 InternLM 基础岛 - LlamaIndex RAG
RAG 有效支持了知识密集型任务。通过 RAG,bot 可以缓解 LLM 输出时生成幻觉、存在过时知识等问题。一点小思考:RAG 侧重于读取 up-to-date, non-fake 的知识,agent 则侧重于调用工具。基于 LlamaIndex 框架搭建 RAG 应用。
2024-09-06 04:37:47
152
原创 InternLM: 基础岛 - 提示词工程 prompt engineering
提示词工程通过调整 prompt 改善模型性能、控制输出结果。prompt = 预设 prompt + 用户输入 + 之前轮次模型输出RAG, Agent 本质也是一种 prompt 工程。RAG 是检索增强生成 (Retrieval-Augmented Generation)。旨在解决模型在生成长文本时可能出现的信息缺失、内容一致性和相关性等问题。
2024-09-04 22:39:24
294
原创 InternLM: 入门 - 1.8B/8G 模型部署
这是开源仓库 InternLM2-1.8B 的镜像,由 root config file config.json 指定了 AutoConfig, AutoModelForCausualLM, AutoModel 几个类在 load 时候的加载入口。(我猜是 huggingface 的文件目录格式。本次复现不涉及源码,跑一下 LMdeploy 的命令就部署起来了,环境配好了已经。img 进来之后先 encode,encode 之后 enqueue,等待结果完成计算。模型是 load 的预训练节点,位于。
2024-09-03 18:45:40
159
原创 InternLM:基础岛
该框架可以将市面上的格式转化成统一的内部格式,然后进行微调。对于数据提取和数据标注环节,ailab 提供了 Miner U 数据提取工具,提取 PDF 中的预料信息;模型在一些方面具有局限性,如持续学习最新的信息、提供可靠的回复、严谨数学计算、工具使用和交互。主要数据类型有图像,视频,tokens 语料,3D 模型,音频。InternEvo 预训练框架支持分布式训练(跨 GPU),可以让更多的模型跑起来。OpenCompass 是评测框架,得到了 Meta 的认证,并参与了国标制定。
2024-09-03 15:18:15
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人