开花小喷菇-CSDN博客

原创【论文阅读 | LLM幻觉】SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models

本文提出了一种新的解码框架 Self Logits Evolution Decoding (SLED)，该方法在不依赖外部知识库或额外微调的情况下，增强了 LLM 的真实性。从优化的角度来看，SLED 通过对比 LLM 最终层和早期层输出的 logits（模型预测的分布），利用其中的潜在知识来进行对比学习。然后，它采用近似梯度方法来指导模型的自我优化，使其调整自身的输出，从而提高事实准确性。

2025-03-05 12:43:22 807 1

原创【论文阅读 | LLM幻觉】DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

本文提出了一种简单的解码策略 DoLa，用于减少预训练LLM的幻觉现象，这种策略不需要依赖外部检索的知识，也不需要额外的微调。本文通过对比来自模型不同层次的 logits（输出的分数）来获取下一个词的分布。具体而言，比较从模型后层与前层投影到词汇空间的logits之间的差异，利用了一个事实，即LLM的事实性知识通常局部化于特定的 transformer layer 中。

2025-02-27 11:48:03 992 1

原创【论文阅读 | LLM幻觉】In-Context Sharpness as Alerts: An Inner Representation Perspective for ...

本文提出了一种基于熵 (entropy) 的度量方法，用来量化上下文中隐藏状态的 “锐利度” (sharpness) 。这一度量方法被纳入到解码过程，作为一种约束解码的方法。

2025-02-17 13:59:51 749 1

原创【论文阅读 | LLM幻觉】INSIDE: LLMs‘ Internal States Retain the Power of Hallucination Detection

本研究提出了一个 INSIDE 框架，利用 LLM 内部状态中保留的语义信息进行幻觉检测。具体来说，本文提出了一个既简单又有效的 EigenScore，用以衡量不同生成结果在嵌入空间中的语义一致性。此外，为了识别那些以往方法未能察觉的过于自信的幻觉，本文引入了一种特征截断技术，通过截断极端特征来减少过于自信的生成结果。

2025-02-15 16:45:05 1038 1

原创【论文阅读 | LLM幻觉】ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via ...

本文提出了一种 RAG 幻觉检测方法——ReDeEP，通过分析 LLM 对参数化知识和外部上下文的利用情况来检测幻觉现象。实验研究表明，RAG 幻觉主要源于两方面：Copying Heads 未能充分利用外部上下文、Knowledge FFN 模块过度依赖参数化知识。基于这些发现，进一步设计了干预方法来减少幻觉，并且无需更新模型参数。

2025-02-13 22:45:15 1150 1

原创【论文阅读 | MLLM幻觉】Mitigating Hallucination in Multimodal Large Language Model via HDPO

基于直接偏好优化 (DPO) 提升MLLM表现，本文提出针对幻觉的直接偏好优化 (HDPO) 用于减少MLLM终觉。

2025-02-11 22:28:58 1732 1

原创【论文阅读 | LLM幻觉】Zero-resource hallucination prevention for large language models

针对LLMs幻觉问题，提出了一种称为Self-Fimilarity 的幻觉评估方法，可以在模型生成回复之前评估其对输入指令中涉及概念的熟悉程度。如果模型对某些概念不熟悉，则在零资源环境下选择不生成回答。此外，本文还提出了一个新的数据集 Concept7，专门研究由模型内部知识受限所导致的幻觉问题。

2025-02-10 23:16:43 727 1

原创【论文阅读 | MLLM幻觉】Unified Hallucination Detection for Multimodal Large Language Models

本文提出针对多模态大语言模型 (MLLM) 幻觉检测的评估基准 MHaluBench，和一个统一的多模态幻觉检测框架 UNIHD。

2025-02-09 21:39:55 748 1

原创【论文阅读 | LLM幻觉】A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

一篇有关LLM幻觉修正的综述阅读笔记，可以当做文献索引用。

2025-01-09 15:54:02 1105 1

原创【论文阅读 | MoE】Mixture-of-Experts with Expert Choice Routing

这篇文章是在基础上对的优化，上篇文章具体内容见链接帖子。

2025-01-06 16:21:39 2051 1

原创【论文阅读 | MoE】Outrageously Large Neural Networks: The Sparsely-Gated Mixtured-of-Experts Layer

首次提出MoE专家概念的文章。

2024-08-30 18:10:42 976 1

原创【个人经验】GraphRAG+Ollama 本地部署已跑通！

GraphRAG+Ollama 本地部署的个人经验帖

2024-08-07 22:22:25 4664 7

weixin_62100548的博客