dundunmm
【论文阅读】CLUSTERED RETRIEVED AUGMENTED GENERATION (CRAG)
本文提出了一种名为CRAG（聚类式检索增强生成）的新方法，用于解决传统RAG（检索增强生成）在处理大规模外部知识时面临的上下文窗口限制和高Token成本问题。CRAG通过三个步骤优化流程：对评论数据进行聚类、摘要和聚合，显著减少了输入Token数量。实验表明，相比传统RAG，CRAG在不降低回答质量的前提下能减少46%-90%的Token使用量，且随着数据量增长优势更加明显。该方法在亚马逊手机评论数据集上验证有效，适用于GPT-4等多种大语言模型，为处理海量文本数据提供了一种高效实用的解决方案。
柠石榴
【论文阅读】HEXGEN-TEXT2SQL: Optimizing LLM Inference Request Scheduling for Agentic Text-to-SQL Workflows
HEXGEN-TEXT2SQL: 异构GPU集群上优化多阶段Text-to-SQL工作流的LLM推理调度框架 本文提出HEXGEN-TEXT2SQL框架，针对异构GPU集群中多阶段LLM驱动的Text-to-SQL工作流调度问题。通过分层调度方法（全局负载均衡+局部紧急性优先级队列）和轻量级仿真优化超参数，系统显著提升资源利用率并降低SLO违规率。实验显示，相比vLLM基线，该框架将延迟缩短1.41倍，吞吐量提升1.65倍。不足在于复杂查询优化和多租户公平性保障有待改进，未来可结合查询分析和动态资源分配进一
作者推荐
- Eastmount
- 北理本硕，武大博士。欢迎加入“网络攻防和AI安全之家”和“数智人文与文本挖掘”知识星球！自幼受贵州大山的熏陶，养成了诚实质朴的性格。经过寒窗苦读，考入BIT，为完成自己的教师梦，放弃IT、航天等工作，成为贵州高校的一名教师，并想把自己所学所感真心传授给自己的学生，帮助更多陌生人。已发表论文30余篇，撰写专著8部，主持课题6项，感恩遇到的每一位读者，且看且珍惜。 贵州纵美路迢迢，为负劳心此一遭。收得破书三四本，也堪将去教尔曹。娜美人生，醉美生活。他和她经历风雨，慢慢变老。
关注
- 好评笔记
- 关 注 公主号：Goodnote，专栏文章私信限时Free。好评笔记，记录一些好玩的计算机笔记。人工智能基础课程《机器学习》、《深度学习》相关的课程知识已更新完。AIGC图像生成模型和多模态相关的部分关键论文解读解读基本完成，接下来更新AIGC视频生成的相关模型及论文。
关注
