大模型LLM的数学推理

已于 2024-03-29 12:35:10 修改
阅读量536 收藏 10
点赞数 6
文章标签： 笔记 人工智能 自然语言处理 python llama
于 2024-03-28 22:41:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46268825/article/details/137119197
版权
文章探讨了MathPile预训练数据集在数学问题解决中的应用，涉及算术、几何、自动定理证明等内容，强调模型需处理文字与图形的结合以及逻辑推理。此外，还提及了MINIF2F等项目对逻辑分析和知识库支持的需求。
摘要由CSDN通过智能技术生成

结论

先尝试问题-论证-答案中的PRM800K数据集
MathPile是个用于预训练的语料库
paper & 知乎

1 算术

例如:
在这里插入图片描述

2 数学文字题

2.1 问题-答案

直接给出答案
在这里插入图片描述

2.2 问题-方程式-答案

给出解答的方程式（过程）
在这里插入图片描述

2.3 问题-论证-答案

给出论证的过程（应该含有方程式）
在这里插入图片描述

综上，考虑到视频的可视化过程，着重问题-方程式-答案和问题-论证-答案
PRM800K is a process supervision dataset containing 800,000 step-level correctness labels for model-generated solutions to problems from the MATH dataset.

3 几何

相对于文字，几何还需要模型对形状、大小及其相互关系的空间理解。
图中蕴含很多文字中不具备的复杂信息，模型需要解析图表的信息，也就是说模型要同时理解文本和图，具备跨模态的数值推理。几何体的解答既有多模态又有逻辑推理。
或者，对于manim，可以对几何形状进行描述，从而避免输入图像prompt 那么关于几何的问题，是不是就能归类为问题-论证-答案呢？？

4 自动定理证明

实现对给定推测的自动化推理证明，需要深刻理解语言+逻辑分析+广泛的知识库支持。
MINIF2F包含一系列复杂的奥林匹克数学问题, 旨在评估定理证明系统.

视觉-语言环境中的数学

即指模型对图表的理解，例如MathVista和ChartQA
暂时不考虑图像prompt的输入。
在这里插入图片描述

orange_の_呜
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
大型语言模型 (LLM)全解读.pdf
01-30
总结来说，大型语言模型是深度学习在自然语言处理领域的革命性成果，它们通过大规模训练和微调，能够理解并生成复杂的文本，为众多应用场景提供了强大的支持。随着技术的发展，我们可以期待未来LLM在更多领域展现出...
大语言模型的数学之路
数据派THU
11-24 115
本文约5000字，建议阅读10分钟 本文介绍了LLM For Math。‍‍‍‍‍‍‍‍‍‍‍‍‍01 问题LLM 通过大量的语料来建模下一个 token 的概率，这种训练方式促成 LLM 成为一个「文科生」，那么我们不禁对以下几个问题好奇：LLM 目前在数学问题上取得的进展；有哪些技术路线在未来可能会更进一步提升 LLM 解决数学问题的能力？在以下部分不妨来讨论上面两个问题。02技术路线那么在...
LLM-大语言模型的推理、推断任务（Inferring）
10-03 426
如果我想让系统告诉我这个评论的情感是什么，只需要编写 “以下产品评论的情感是什么” 这个prompt，加上通常的分隔符和评论文本等等。结果显示这个产品评论的情感是积极的，这似乎是非常正确的。使用大型语言模型的好处在于，对于许多这类任务，只需使用一个模型和一个API来完成多种不同的任务，无需费心去训练和部署多个模型。如果你想要给出更简洁的答案，以便更容易进行后处理，可以使用上面的prompt并添加另一个指令，以一个单词 “正面” 或 “负面” 的形式给出答案。# >>>>>>> 输出
LLM推理入门指南③：剖析模型性能
OneFlow深度学习框架
05-07 2195
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍了两个阶段：提示的处理阶段和逐个生成补全词元的多步生成阶段。在上一篇文章《LLM推理入门指南②：深入解析KV Cache》中，深入探讨了KV Cache优化。本文将转变方向，探索可能影响机器学习模型速度的不同性能瓶颈。本文所详细介绍的概念广泛适用于任何ML模...
大语言模型LLM
noobiee的博客
07-26 2069
2020年1月，OpenAI发表了论文《Scaling Laws for Neural Language Models》，研究了基于交叉熵损失的语言模型性能的经验尺度法则，并且发现：大模型使用样本的效率显著更高，因此最优的高效训练方式是在中等数据集上训练超大模型，并在显著收敛前提前停止。由于指令微调阶段训练了非常多的任务，大模型任务能力可以泛化到之前没有见过的任务上，这使得模型初步具备了回答人们提出的任何指令的可能。，使用 LoRA 进行的微调质量与全模型微调相当，同时速度更快且需要更少的计算。
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 3099
大模型（LLM）推理优化技术整理。
大型语言模型 (LLM)全解读
FeelTouch Labs
01-23 8995
大型语言模型 是一种深度学习算法，可以执行各种自然语言处理 (NLP) 任务。大型语言模型底层使用多个转换器模型底层转换器是一组神经网络。大型语言模型是使用海量数据集进行训练的超大型深度学习模型。这也是它们能够识别、翻译、预测或生成文本或其他内容的强大基础所在。因此大型语言模型也称为神经网络 (NN)，是受人类大脑启发而开发出的计算系统。这些神经网络利用分层的节点网络工作，就像神经元一样。这些神经网络由具有自注意力功能的编码器和解码器组成。
大模型（LLM）的量化技术Quantization原理学习
penriver的博客
03-02 5376
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
大模型llm综述
霜叶的博客
03-17 1104
LLM 是指包含数千亿(或更多)参数的 Transformer 语言模型 ，这些模型是在大规模文本数据上进行训练的 ， 例如 GPT-3 ，PaLM，Galactica 和 LLaMA。LLM 展现了理解自然语言和解决复杂任务(通过文本生成) 的强大能力。
大模型（LLM）的token学习记录-I
penriver的博客
02-27 1967
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是 LLM 进行处理的最小单元。根据所使用的特定标记化【Tokenization】方案，token可以表示单词、单词的一部分，甚至只表示字符。采用的方案由模型的类型和大小决定token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。模型理解这些token之间的统计关系，并擅长做token的接龙token化是将输入和输出文本分割成可以由LLM AI模型处理的较小单元的过程。
金融财报问答大模型LLM.zip
03-14
《金融财报问答大模型LLM：开启智能分析新时代》 在当今信息爆炸的时代，金融行业的数据分析变得愈发重要。尤其在财报解析与问答方面，企业、投资者以及分析师都需要快速准确地理解复杂的财务数据，以做出明智的...
LLM大模型技术分析（Python）
12-19
标题 "LLM大模型技术分析（Python）" 暗示了我们正在探讨的是一个基于Python编程语言的大规模语言模型（Large Language Model, LLM）。这类模型通常用于自然语言处理任务，如机器翻译、文本生成、问答系统和对话代理...
大模型LLM，RAG实战.zip
03-14
标题中的“大模型LLM，RAG实战”指的是在自然语言处理领域中，大型语言模型（Large Language Models, LLM）的应用，特别是Relevance-Aware Generation（RAG）模型的实际操作。RAG是一种结合了检索式和生成式模型优势...
2024-07-05 base SAS programming学习笔记9(variables)
ddjdd1234的博客
07-05 463
由于SAS 每次都会执行IF THEN 语句，因此在对同一个变量进行操作时使用IF THEN ELSE IF THEN 语句来提高效率，避免重复使用IF-THEN 语句，在碰到TRUE的情况则会跳出该IF 语句。如果不存在select expression ，则会对每个when 语句判断TRUE或FALSE,SAS只会执行首次判断为TRUE的语句，一旦存在TRUE语句则跳出不对其他WHEN语句进行判断。在每次DO循环前检查是否满足WHILE的条件，只有满足WHILE的条件才继续循环，如果不满足则终止循环。
【论文阅读笔记】Meta 3D AssetGen
weixin_43357695的博客
07-06 539
我们提出了 Meta 3D AsetGen (AssetGen)，这是文本到 3D 生成的重大进步，它产生了忠实、高质量的网格，具有纹理和材料控制。与在 3D 对象外观中烘烤阴影的作品相比，AsetGen 输出基于物理的渲染 (PBR) 材料，支持逼真的重新照明。AsetGen 使用分解阴影和反照率外观通道生成对象的前几个视图，然后使用延迟阴影损失重建 3D 中的颜色、金属度和粗糙度以进行有效监督。**它还使用符号距离函数更可靠地表示 3D 形状，并为直接形状监督引入了相应的损失。
Vue笔记12-新的组件
最新发布
王劭阳的博客
07-07 163
是一个内置组件，用来在组件树中协调对异步依赖的处理。它让我们可以在组件树上层等待下层的多个嵌套异步依赖项解析完成，并可以在等待时渲染一个加载状态，需要结合异步依赖，才能看到效果。在Vue3中，可以没有div根标签，如果没有的话，Vue3会将多个标签包装在一个。在Vue2中，template标签内，必须有一个div标签，作为根标签。是一个内置组件，可以将一个组件内部的模板传送到该组件DOM外部的位置去。
数据结构学习笔记-十大排序算法
2301_81135589的博客
07-03 451
进行S趟k路归并，把k个归并段的块读入k个输入缓冲区，用“归并排序”的方法从k个归并段中选出几个最小记录，暂存到输出缓冲区中，当输出缓冲区满时，写出外存。6）重复3）~5），直至在WA中选不出新的MINIMAX记录为止，由此得到一个初始归并段，输出一个归并段的结束标志到FO中去。设初始待排文件为FI，初始归并段输出文件为FO，内存工作区为WA，FO和WA的初始状态为空，WA可容纳w个记录到工作区WA。5）从WA中所有关键字比MINMAX记录的关键字大的记录中选出最小关键字记录，作为新的MINIMAX记录。
什么是大模型 LLM
03-12
大模型 LLM（Large Language Model）是指具有大规模参数量的语言模型。语言模型是一种用于理解和生成自然语言文本的人工智能模型。LLM通常是基于深度学习技术构建的，通过训练大量的文本数据，使其能够学习到语言的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值