- 博客(21)
- 收藏
- 关注
RSS订阅原创 论文阅读《RECOMP: IMPROVING RETRIEVAL-AUGMENTED LMSWITH COMPRESSION AND SELECTIVE AUGMENTATION》
从而降低计算成本，并减轻模型在长文档中寻找相关信息的负担。
2025-04-24 21:39:16
887
1
原创 《OnionEval: An Unified Evaluation of Fact-conflicting Hallucination for Small-Large Language Models》
这篇论文通过构建 OnionEval 框架，系统地评估了 SLLMs 在不同上下文层次中的事实冲突幻觉问题，并提出了 CI 分数这一新指标。研究结果揭示了 SLLMs 在上下文理解和推理方面的局限性，并展示了通过结构化推理策略提升性能的潜力。
2025-04-23 17:31:12
630
原创 知识链（Chain-of-Knowledge）：通过对异构来源的动态知识适配实现大语言模型的知识落地
CHAIN-OF-KNOWLEDGE: GROUNDING LARGE LANGUAGE MODELS VIA DYNAMIC KNOWLEDGE ADAPTING OVER HETEROGENEOUS SOURCES》这篇论文介绍了一个名为“chain-of-knowledge”（CoK）的框架，旨在通过动态整合来自异构知识源的信息来增强大型语言模型（LLMs）的性能，减少生成中的幻觉（hallucination）现象，并提高回答的准确性。论文详细描述了CoK框架的设计、实现和实验验证。
2025-04-23 17:10:33
825
原创 综述阅读《知识与大型语言模型集成的趋势：方法、基准和应用的调查与分类》
本文旨在提供一个全面的综述，讨论知识与LLMs整合的趋势，包括方法分类、基准测试和应用，并对未来研究方向进行深入分析。
2025-04-01 15:28:40
902
原创 论文评估指标
文章通过Recall@10、MAP@10和RePASs等指标，全面评估了混合检索系统在检索和生成阶段的性能。这些指标不仅衡量了检索结果的质量和相关性，还评估了生成答案的准确性、一致性和全面性。通过这些评估指标，文章证明了混合方法在处理复杂监管文本时的有效性和优越性。文章通过Top-k检索准确率、NDCG@10、精确匹配（EM）、F1分数等指标，全面评估了Blended RAG在检索和生成阶段的性能。这些指标不仅衡量了检索结果的质量和相关性，还评估了生成答案的准确性和一致性。
2025-03-11 14:55:51
921
原创 论文阅读《TrustRAG: An Information Assistant with Retrieval AugmentedGeneration》
这篇论文介绍了一个名为TrustRAG的新型检索增强生成（Retrieval-Augmented Generation, RAG）框架，旨在提高RAG系统的可信度和可靠性。
2025-03-06 21:40:22
1082
1
原创 论文阅读《CORRECTIVE RETRIEVAL AUGMENTED GENERATION 》
LLMs在理解和生成流畅文本方面表现出色，但它们仍然面临幻觉问题，尤其是在处理事实错误时。RAG通过从外部知识库中检索相关文档来增强生成过程，但其效果依赖于检索到的文档的相关性和准确性。如果检索失败或返回不准确的结果，生成过程可能会受到严重影响。论文提出CRAG方法，通过自我校正检索结果来提高生成的鲁棒性。CRAG的核心是一个轻量级的检索评估器，用于评估检索文档的质量，并根据置信度触发不同的操作（正确、错误、模糊）。此外，CRAG还引入了大规模网络搜索和知识优化算法，以增强检索到的信息的利用效率。
2025-03-02 21:37:43
1128
1
原创 论文阅读《Say Less, Mean More:Leveraging Pragmatics in Retrieval-Augmented Generation》
论文提出了一种无监督的方法，通过识别RAG检索到的文档中最相关的句子，并在不截断或修改上下文的情况下，突出显示这些句子，从而增强大语言模型（LLM）的问答性能。
2025-03-02 21:17:41
812
1
原创 论文阅读总结《SEAKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation》
SEAKR通过从LLMs的内部状态中提取“自我意识不确定性”（self-aware uncertainty），动态决定是否需要检索外部知识，并优化检索到的知识的整合方式。SEAKR的核心在于利用LLMs的自我意识来动态决定何时检索知识，以及如何整合检索到的知识（根据LLM的自我意识不确定性对其进行重新排名，以保留最大限度地减少其不确定性的片段）。
2025-02-19 20:59:07
911
1
原创 论文总结《CHUNK-DISTILLED LANGUAGE MODELING》
大型语言模型（LLM）已经成为智能系统的重要组成部分，但其效率和性能仍然面临着根本性的挑战。LLM最通常基于自回归变换器，并且通常以串行方式一次生成一个分词的文本序列，这限制了它们的效率。CD-LM 通过结合深度网络和检索模块，以“文本块（chunks）”为单位进行生成，从而提高生成效率，并增强模型对新知识的适应能力。
2025-02-15 00:53:26
1002
原创 论文总结《PROVENCE: EFFICIENT AND ROBUST CONTEXT PRUNING FOR RETRIEVAL-AUGMENTED GENERATION》
检索增强生成改进了大型语言模型（LLM）生成的各个方面，但是遭受由长上下文引起的计算开销以及将不相关的检索信息传播到生成的响应中。上下文修剪通过在LLM生成之前移除检索到的上下文的不相关部分来处理这两个方面。Provence 是一个高效、鲁棒性且适应性强的上下文修剪工具，适用于各种问答场景。它能够动态检测上下文中相关句子的数量和位置，并在几乎不增加计算成本的情况下，实现高效的上下文修剪。
2025-02-09 23:32:12
991
原创 机器学习期末复习考点
是机器学习中的一个重要步骤，目的是从中选择对最有用的。通过特征选择，可以简化模型，提高模型的可解释性，减少计算复杂度，甚至在某些情况下提高模型的准确性。
2025-01-03 11:57:54
2058
原创 论文总结《QWEN TECHNICAL REPORT》
预训练阶段的目标是通过学习大量数据来获得对世界的全面理解，包括基本的语言能力以及高级技能如算术、编码和逻辑推理。对齐部分讨论了如何通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）来训练QWEN模型，以提高其与人类行为的一致性。这两部分展示了QWEN模型如何通过预训练和对齐技术来提高其在多种任务和领域中的性能。
2024-12-18 15:28:04
673
原创 计算机视觉常考知识点
卷积神经网络主要应用于图像识别任务，通过卷积层和池化层提取图像的空间特征。Transformer是一种基于注意力机制的模型，适用于处理序列数据，同时能够并行计算。循环神经网络主要用于处理序列数据，能够捕捉到数据中的时间依赖关系。
2024-12-15 17:30:40
1969
原创 论文总结《MINDAGENT: EMERGENT GAMING INTERACTION》
MindAgent 采用最小化设计，展示 LLMs 在调度和协调方面的新兴能力，并引入探索性提示技术以促进更好的规划。
2024-12-11 22:23:59
655
原创 医学图像方向综述
从图像分类、图像分割、检测等各个环节，计算机视觉技术通过自动化、精确化的方式大大提高了医学图像分析的效率和准确性。例如，计算机可以通过检测肺部CT图像中的结节、脑部MRI中的病灶、或皮肤病变中的不规则区域来协助医生发现早期症状。计算机视觉在医学图像中的应用已经成为医疗领域的重要研究方向，随着深度学习和人工智能技术的进步，它在医学诊断、疾病预测、治疗规划等方面发挥着越来越重要的作用。图像分类任务指的是对医学图像进行分类，分类任务用于将图像中的区域或器官分类为不同的类别。
2024-12-11 21:54:31
1111
原创 密码学与人工智能方向综述
然而，这一领域也面临着计算复杂性、安全性、隐私保护等方面的挑战，需要学者和工程师不断深入研究，寻求更加高效、安全、可解释的解决方案。密码学与人工智能（AI）的交叉领域是近年来的一个重要研究方向，随着计算能力的提升和数据隐私、安全需求的增加，密码学与AI的结合变得越来越重要。是研究如何保护信息的安全、完整性、保密性和认证等的学科，主要包括对称加密、非对称加密、哈希函数、数字签名、身份认证、零知识证明等技术。
2024-12-11 21:48:46
2739
原创 大模型方向综述
大模型在各个领域中都展现出了显著的优势，尤其是在自然语言处理、计算机视觉等任务上取得了前所未有的成功。然而，随着模型规模的不断增大，面临着计算资源、可解释性、安全性等方面的挑战。未来的大模型研究将更加注重高效性、可控性和公平性，同时推动跨模态、少样本学习等新技术的发展。大模型通常指的是具有大量参数、在大规模数据上训练的深度学习模型。这类模型通常能够通过学习庞大的数据集，捕捉更加复杂的模式，进而提升在多种任务上的性能。大模型的架构设计是研究的核心之一。
2024-12-11 21:42:25
918
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人