![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 89
六神就是我
万物不仁,天地为刍狗
展开
-
【LLM之Agent】ReAct论文阅读笔记
论文介绍了 "ReAct" 范式,该范式旨在融合推理和行动的功能,通过让大型语言模型(LLMs)生成既包括言语推理轨迹又包括行动序列的输出,解决多种语言推理和决策任务。这种方法允许模型在与外部环境(如Wikipedia)交互时动态地进行推理和调整计划。原创 2024-07-10 10:01:48 · 489 阅读 · 0 评论 -
【LLM之KG】CoK论文阅读笔记
本研究提出了一种新的链式知识(Chain-of-Knowledge, CoK)提示方法,通过引导LLMs生成明确的知识证据来提高推理能力。具体来说,CoK提示由证据三元组(CoK-ET)和解释提示(CoK-EH)组成,旨在生成明确的知识证据和解释,以支持逐步思考过程。同时,引入了F2验证方法来评估推理链的真实性和可靠性。原创 2024-06-23 22:23:27 · 798 阅读 · 3 评论 -
【LLM之KG】KoPA论文阅读笔记
本文的研究目标是探索如何将结构信息融入大型语言模型(LLM),以提高其在**知识图谱补全**任务中的表现。具体来说,是通过结构嵌入预训练和知识前缀适配器(KoPA)来实现结构信息的有效利用。原创 2024-06-22 20:43:51 · 724 阅读 · 0 评论 -
【LLM之KG】TOG论文阅读笔记
本文针对大型语言模型(LLMs)在处理深度和负责任的推理任务时常见的幻觉问题进行研究,特别是在需要**深层次逻辑链**和**多跳知识推理**的场景中。为了解决这些问题,作者提出通过结合外部知识图谱(KGs)来增强LLMs的推理能力。原创 2024-06-21 11:22:13 · 963 阅读 · 1 评论 -
【LLM之NL2SQL】DAIL-SQL论文阅读笔记
该研究旨在提供一个全面、系统的评估框架,用于评估基于大型语言模型(LLM)的Text-to-SQL技术。特别强调了不同的提示工程策略的有效性和效率,以及开源LLM的可行性。研究的重点是评估在零样本和少样本场景下的不同问题表示方式,样本选择和组织策略的效果。原创 2024-06-20 15:47:14 · 922 阅读 · 0 评论 -
【LLM之NL2SQL】DIN-SQL论文阅读笔记
研究关注于使用大型语言模型(LLMs)进行复杂的Text-to-SQL任务,目标是弥补精调模型与基于提示的方法之间的差距。早期系统依赖于特定领域或基于规则的方法,而最近的系统利用深度神经网络模型和LLMs,以提高领域独立性和效率。原创 2024-06-18 12:41:00 · 972 阅读 · 1 评论 -
【LLM之RAG】RAT论文阅读笔记
近年来,大型语言模型(LLMs)在各种自然语言推理任务上取得了显著进展,尤其是在结合大规模模型和复杂提示策略(如链式思维提示(CoT))时。然而,LLMs 在推理的事实准确性方面存在越来越多的担忧,特别是在零样本 CoT 提示和需要多步骤和上下文感知推理的长视野生成任务中。这些任务包括代码生成、任务规划、数学推理等,需要事实正确的中间思维过程来成功完成任务。原创 2024-06-17 10:25:58 · 1132 阅读 · 1 评论 -
【LLM之RAG】Adaptive-RAG论文阅读笔记
文章介绍了大型语言模型(LLMs)在处理各种复杂查询时的挑战,特别是在不同复杂性的查询处理上可能导致不必要的计算开销或处理不足的问题。为了解决这一问题,文章提出了一种自适应的查询处理框架,**动态选择最合适的策略**,从而提高整体效率和准确性 。原创 2024-06-14 10:18:11 · 1264 阅读 · 0 评论 -
【LLM之RAG】Self-RAG论文阅读笔记
尽管大型语言模型(LLM)展示出了显著的能力,但它们在生成回答时经常包含事实错误,因为它们仅依赖于封装在模型中的参数知识。增强型检索生成(Retrieval-Augmented Generation, RAG)是一种方法,通过检索相关知识来减少此类问题。然而,无论是否需要检索,或检索的段落是否相关,不加选择地检索和整合固定数量的检索段落会降低语言模型的多功能性,或可能导致生成无用的回答。原创 2024-06-13 10:28:56 · 810 阅读 · 0 评论 -
【LLM之RAG】KG_RAG论文阅读笔记
该研究集中于通过将生物医学知识图谱(KG)与大型语言模型(LLMs)集成,以增强LLMs在生物医学应用中的表现。研究的动机源于LLMs在生成精确内容方面面临的挑战,尤其是在像生物医学这样准确性至关重要的领域。LLMs在广泛的通用文本上的传统训练并不总是能够在专业领域中转化为高准确性,这是因为模型尽管语言结构正确,却仍会生成错误信息(即“幻觉”)。原创 2024-06-12 10:23:34 · 1216 阅读 · 1 评论 -
【LLM之RAG】RAFT论文阅读笔记
论文针对的主要问题是如何将预训练的大型语言模型(LLMs)适应特定领域的检索增强生成(RAG)。这些模型通常在广泛的文本数据上进行预训练,已经表现出在广义知识推理任务上的优越性能。然而,在特定领域,如法律、医学或最新新闻等,普遍的知识推理不足以满足精确性的要求,因此需要对这些模型进行适应性调整以增强其在这些领域内的应用性能。原创 2024-06-11 18:11:05 · 1164 阅读 · 1 评论 -
【LLM之基座】qwen 14b-4int 部署踩坑
由于卡只有24G,qwen14b 原生需要 30GB,按照官方团队的说法,他们用的量化方案是基于AutoGPTQ的,而且根据评测,量化之后的模型效果在几乎没有损失的情况下,显存降低到13GB,妥妥穷狗福音,说干就干。原创 2023-11-17 14:28:20 · 4000 阅读 · 6 评论