Llama3-ChatQA-1.5：开启对话式问答和检索增强生成的新纪元

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在自然语言处理（NLP）这个快速发展的领域中，高级对话问答（QA）模型的引入正在重塑人机交互的可能性。近期，Nvidia 发布了一个颇具竞争力的 Llama3-70b QA/RAG fine-tune。Llama3-ChatQA-1.5 模型是一个值得注意的成就，标志着在检索增强生成（RAG）和对话 QA 方面的重大进展。

https://huggingface.co/nvidia/Llama3-ChatQA-1.5-70B

https://huggingface.co/nvidia/Llama3-ChatQA-1.5-8B

Llama3-ChatQA-1.5 建立在 ChatQA (1.0) 模型之上，利用了可靠的 Llama-3 基础模型以及改进的训练配方。这一重大突破包括了大规模对话 QA 数据集的整合，这使得模型具备了改进的表格和算术计算能力。

[Llama3-ChatQA-1.5] 提供了两个版本，分别拥有 80 亿和 700 亿的参数。这些模型最初通过 Megatron-LM 训练，后来转换到 Hugging Face 格式，以便于获取和使用。

继 ChatQA 成功之后，Llama3-ChatQA-1.5 进一步发展了这一系列对话 QA 模型，性能可与 GPT-4 媲美。ChatQA 通过引入独特的两阶段指令调整策略，显著改善了大型语言模型（LLMs）的零样本对话 QA 成果。

ChatQA 利用了一个在多轮 QA 数据集上优化的密集检索器，能够高效处理检索增强生成。这种方法显著降低了实施成本，并产生了与最先进的查询重写技术相媲美的结果。

随着 Meta Llama 3 模型在该领域设立新标准，向 Llama 3 的过渡标志着 AI 发展的一个重要转折点。这些模型在各种工业基准测试上表现出色，并得到了增强的推理能力的支持。

Llama 团队未来的目标包括将 Llama 3 扩展到多语言和多模态领域，提升语境理解，并持续推进基本的 LLM 功能，如代码生成和推理。其核心目标是提供最先进且易于接近的开源模型，以鼓励 AI 社区内的创造力和合作。

Llama 3 的输出显著改善了 Llama 2 的表现。在 80 亿和 700 亿参数规模上，它设定了 LLMs 的新基准。在训练前和训练后的协议中的重大改进，显著提高了响应多样性、模型对齐以及关键能力，包括推理和指令跟随。

总之，Llama3-ChatQA-1.5 代表了 NLP 领域的最新进展，并为未来开源 AI 模型的工作设立了标准，开启了对话 QA 和检索增强生成的新时代。预计 Llama 项目将推动各领域负责任的 AI 采用，并随着其发展促进创新。