大模型“玩”Excel更6了，微软搞的

大模型理解、推理Excel，现在变得更加精准了。

这就是来自微软的一项最新研究——SPREADSHEETLLM，主打的就是让大模型有条不紊地处理各种电子表格任务。

例如在下面这张图中，如果用传统的大模型方法，会直接忽略掉“R5:R14”这列数据。

然而，这一列数据其实是与左侧单元格有着较强的语义关系，表示这些值在左侧单元格中的百分比。

现在有了SPREADSHEETLLM，这种有难度的推理任务已经是可以轻松应对了。

再如当Excel表格里存在结构稀疏或者有大量空格单元的时候，大模型在识别任务上也会出错，最终导致结果的错误。

而SPREADSHEETLLM就能让大模型更加精准地“看清”Excel——

可以识别并保留表格的关键结构信息，同时去除多余的空单元格和行。

这项研究目前已经引来了不少网友们的围观，有人认为它将对那些跟数据打交道的打工人造成不小的冲击。

不过也有网友认为微软用大模型新研究“整治”Excel……也挺合理。

那么这项研究是如何让大模型处理Excel的能力Pro Max的？

我们继续往下看。

问答准确率提高了22%

在回答这个问题之前，我们先来了解一下传统大模型在处理Excel等电子表格任务时存在的问题。

首先就是tokens的限制。

众所周知，大部分的大模型在处理任务的时候都存在这方面的限制；而电子表格往往因为存在大量的二维网格和复杂的结构而超出了这个限制。

加之传统的电子表格编码方法，如HTML、XML由于需要重复使用标签来表示数据结构，也会导致tokens的消耗较高。

即使是Markdown的编码方法可以节省tokens，但它缺乏明确的单元格地址信息，导致在索引特定单元格位置时容易出错。

其次还存在像结构锚点识别的问题。

在没有有效方法来识别电子表格中的结构锚点（如表格边界的行和列）之前，即便是GPT-4也难以理解电子表格的布局和结构。

为了解决上述的问题，微软团队首先提出了一个叫做SheetCompressor的编码框架，主要包含三大模块：

• 结构锚点压缩（structural-anchor-based compression）
• 反向索引转换（inverse index translation）
• 数据格式感知聚合（data-format-aware aggregation）

结构锚点压缩的目的是识别电子表格中的结构锚点，即在表格边界处的非同质行和列。

这一步骤主要是通过识别和提取这些结构锚点，然后移除远离锚点的同质行和列，生成一个精简版的“骨架”电子表格。

这种方法有效地减少了需要处理的数据量，同时保留了对理解表格结构至关重要的信息。

反向索引转换的目的是提高tokens的使用效率，特别是在处理包含大量空单元格和重复值的电子表格的时候。

与传统的逐行逐列的序列化方法不同，反向索引转换采用无损的JSON格式的反向索引翻译方法。

通过创建一个字典，将非空单元格文本作为键，将具有相同文本的地址合并，优化了tokens的使用，同时保持了数据的完整性。

而数据格式感知聚合，则是为了简化对数值单元格的理解，因为相邻的数值单元格通常具有相似的数字格式。

它先是提取单元格的数字格式字符串和数据类型，然后将具有相同格式或类型的相邻单元格进行聚类。

通过这种方法，可以使用统一的格式字符串和数据类型来表示矩形区域，简化了对数值数据分布的理解，减少了大量的tokens支出。

在实验结果来看，SheetCompressor将tokens使用量减少了96%，并且与原始数据上微调的相同模型相比，性能提高了27%，在表格检测任务上的F1分数达到了约79%。

除此之外，微软团队在这项研究中还提出了Chain of Spreadsheet（CoS）的框架。

它是用来扩展SPREADSHEETLLM的应用范围，特别是在处理电子表格的下游任务的时候。

首先，CoS需要确定与特定任务查询相关的表格，并确定相关内容的确切边界；这一步确保了只有相关数据在后续分析中被考虑，优化了处理效率和焦点。

在确定了相关表格后，下一步是生成对查询的准确响应。

CoS通过将处理过程分解为可管理的部分，有效地处理了复杂的电子表格，从而实现了精确且上下文感知的响应。

从结果上来看，CoS方法显著提高了大模型在问答方面的准确性。

例如，与基线GPT-4模型相比，CoS 方法的准确度提高了22%。

微调模型在电子表格表格检测任务上的表现也证明了CoS的泛化能力，微调后的模型在问答任务上的准确度提高了 6%。

总而言之，大模型现在处理Excel等电子表格这事儿，确实是变得更6了。

那么你觉得这项研究如何呢？欢迎在评论区留言讨论。

参考链接：
[1]https://arxiv.org/abs/2407.09025
[2]https://x.com/emollick/status/1812684733538541694

— 完 —

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。