- 博客(3)
- 收藏
- 关注
RSS订阅原创 一文讲明白大模型显存占用（只考虑单卡）_如果模型比单机显存大怎么办
顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。
2024-10-11 11:44:34
1898
原创 【新进展】知识图谱+多智能体大模型
总体而言，本文提出的“多图多智能体递归检索”方法通过结合图结构和多智能体系统，解决了传统法律文档检索方法中的诸多瓶颈，特别是在处理复杂的法律条款依赖关系时展现了其优势。具体来说，在实验中，RAG方法能够在短时间内完成对复杂法律文档的递归检索，返回的结果不仅包含了直接相关的条款，还能够递归检索到与这些条款有引用关系的其他条款。每个智能体负责检索法律文档的一个特定部分，并与其他智能体协作，通过递归的方式寻找与当前检索内容相关的其他条款或文档。，其中节点代表文档中的条款或章节，边表示不同条款之间的关系。
2024-10-10 13:50:08
1448
原创 知识图谱构建方法汇总！
知识图谱构建过程是一个人机结合的不断迭代过程，以机器自动学习为主、专家定义与修正结合。需要人工介入的工作包括Schema定义、部分结构化知识准备、机器学习结果校验，依据用户的反馈、语料的增加与更新，不断进行模型的更新与迭代。专业领域的知识图谱已经构建完成，在其具备的特有应用形态，与领域数据和业务场景相结合后，将实际助力企业在该领域取得实际的商业价值。现今知识图谱在很多行业中都有了成功的应用。
2024-10-10 13:48:52
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人