大模型
文章平均质量分 81
草莓冰沙wa
这个作者很懒,什么都没留下…
展开
-
【学习笔记】图模互补:知识图谱与大模型融合综述
1. 利用知识图谱减轻大模型幻觉KELM语料库、通用模型KGPT为大模型提供基于知识图谱转化的真实文本信息2. 知识图谱提供一种解释和推理知识的手段,用于探究大模型内部复杂的工作步骤和推理过程个性化知识库与大模型集成检索框架KnowledGPT,提高了处理复杂搜索和歧义的能力。3. 知识图谱作为外部检索工具,帮助大模型解决公平、因私和安全等问题。原创 2024-09-18 21:21:17 · 559 阅读 · 0 评论 -
【学习笔记】LoRA: Low-Rank Adaptation of Large Language Models
TitleLoRA: Low-Rank Adaptation of Large Language ModelsJournal ()AuthorsHu Edward J.,Shen Yelong,Wallis Phillip,Allen-Zhu Zeyuan,Li Yuanzhi,Wang Shean,Wang Lu,Chen WeizhuPub.date2021-10-16将大模型应用于下游任务时,通常需要进行微调,即更新预训练模型的所有参数。微调的主要缺点是新模型包含的参数与原模型一样多。存储和加载除预训原创 2024-03-15 20:42:35 · 957 阅读 · 0 评论 -
【学习笔记】博客Lilian Weng - LLM Powered Autonomous Agents
外部记忆可以缓解注意力持续时间有限的限制。标准做法是将信息的嵌入表示保存到支持快速。的矢量存储数据库中。为了优化检索速度,通常的选择是。人脑中的记忆类型:感觉记忆、短期记忆、长期记忆。(3) 工具使用(Tool use)(1) 规划(Planning)(2) 记忆(Memory)最大内积搜索(MIPS)近似最近邻(ANN)算法。原创 2024-03-15 20:27:49 · 568 阅读 · 0 评论