想把握最新的科技进展和研究成果，却发现自己的阅读速度根本赶不上文献产出的速度？
别担心，AMiner AI会帮助你高效检索和阅读文献！
AMiner AI，一款集发现论文、分析论文、理解论文、写作论文于一体的科研小助手。它会帮助你更加游刃有余地穿梭在学术海洋中，让科研变得更加有趣和高效！
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。
本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可扫码查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。
**1. **Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach****✦
✦
✦
✦
本文对比了检索增强生成（RAG）和长上下文（LC）语言模型在处理长上下文任务中的表现，旨在结合两者的优点。通过在三个最新的LLM模型上使用各种公开数据集对RAG和LC进行基准测试，结果表明，当资源充足时，LC在平均性能上始终优于RAG。然而，RAG的计算成本显著较低，仍具有优势。基于这一观察，作者提出了Self-Route方法，这是一种简单而有效的方法，根据模型的自我反思将查询路由到RAG或LC。Self-Route方法显著降低了计算成本，同时保持了与LC相当的性能。研究结果为使用RAG和LC的LLM长上下文应用提供了指导。
链接：https://www.aminer.cn/pub/66a1b12601d2a3fbfc21f2de/?f=wx阅读原文
2. A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More
本文全面调查了近期用于改进大型语言模型（LLM）与其生成回应之间人类期望对齐的技术，如RLHF、RLAIF、PPO、DPO等。随着自监督学习的进步、大规模预训练语料库中数十万亿个标记的可用性、指令微调和参数达数十亿的大型Transformer模型的开发，大型语言模型已能对人类查询生成事实性和连贯的回应。但训练数据的质量参差不齐可能会导致生成不期望的回应，带来了显著挑战。尽管过去两年从不同角度提出了多种改进LLM的方法，尤其是改进它们与人类期望之间的对齐，但尚未有综述文章对这些方法进行分类和详细说明。本研究旨在填补这一空白，将相关论文按不同主题进行分类，并详细解释每种对齐方法，帮助读者深入了解该领域的当前状态。
链接：https://www.aminer.cn/pub/66a05fdb01d2a3fbfcb0b181/?f=wx阅读原文
**3. **Shared Imagination: LLMs Hallucinate Alike****✦
✦
✦
✦
大型语言模型（LLM）尽管在近期大量涌现，但它们的训练方法—模型架构、预训练数据和优化算法—往往非常相似。这自然引出了一个关于 resulting models 之间相似性的问题。在这篇论文中，我们提出了一个新奇的设定，想象中的问题回答（IQA），以更好地理解模型之间的相似性。在IQA中，我们要求一个模型生成纯粹虚构的问题（例如，关于物理学中完全虚构的概念），并提示另一个模型回答。令人惊讶的是，尽管这些问题完全是虚构的，但所有模型都能以极大的成功回答彼此的问题，这表明了一个“共享想象空间”，在这些模型进行这种幻觉操作期间，它们在其中运作。我们对这一现象进行了一系列的调查，并讨论了关于模型同质性、幻觉和计算创造力等方面的影响。
链接：https://www.aminer.cn/pub/66a0601701d2a3fbfcb24bb3/?f=wx阅读原文
4.ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities
✦
✦
✦
✦
本文介绍了ChatQA 2，一个基于Llama3的模型，旨在缩小开源大型语言模型（LLMs）与顶尖私有模型（如GPT-4-Turbo）在长上下文理解和检索增强生成（RAG）能力方面的差距。这两种能力对于LLMs处理无法一次性嵌入单条提示的大量信息至关重要，并且根据下游任务和计算预算的不同，它们相互补充。文中详细介绍了如何将Llama3-70B-base的上下文窗口从8K扩展到128K令牌的持续训练方法，以及通过三阶段指令调优过程来提高模型的指令遵循能力、RAG性能和长上下文理解能力。实验结果表明，Llama3-ChatQA-2-70B模型在许多长上下文理解任务上的准确性可与GPT-4-Turbo-2024-0409相媲美，并且在RAG基准测试中超过了它。有趣的是，我们发现最先进的长上下文检索器可以缓解RAG中的top-k上下文碎片化问题，从而进一步提高长上下文理解任务的RAG基础结果。文中还提供了使用最先进的长上下文LLMs对RAG和长上下文解决方案进行广泛比较的结果。
链接：https://www.aminer.cn/pub/669dbc8001d2a3fbfca4235e/?f=wx阅读原文
5. RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
✦
✦
✦
✦
这篇论文介绍了一种新的自然语言处理领域的研究课题——基于检索增强生成的问答（RAG-QA），并指出现有的用于此任务的数据集存在一些局限性。为了克服这些局限性，研究者创建了长格式鲁棒问答（LFRQA）数据集，该数据集包括由人类编写的长格式答案，这些答案将来自多个文档的短提取式答案集成到单个连贯的故事中，涵盖了七个不同领域的26K个查询和大量语料库。此外，研究者还提出了RAG-QA竞技场，通过将模型生成的答案直接与LFRQA的答案进行比较，使用大型语言模型（LLM）作为评估者。实验结果表明，RAG-QA竞技场和人类对答案质量的判断高度相关。此外，只有41.3%的LLM生成的答案被认为优于LFRQA的答案，这表明RAG-QA竞技场是一个对未来研究具有挑战性的评估平台。
如何订阅每日新论文？
打开AMiner首页，点击管理订阅，选择所在领域的关键词、学者和机构即可。
此外，可以选择将订阅内容发送至邮箱或微信。输入邮箱或扫描二维码授权登录，即可接收个性化的科研信息。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
862
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
