COT、COT-SC、TOT 大预言模型思考方式||底层逻辑：prompt设定

已于 2023-07-12 14:58:52 修改
阅读量2.8k 收藏 3
点赞数 3
分类专栏： LLM 文章标签： prompt LLM
于 2023-07-12 14:57:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43332715/article/details/131681619
版权

先讲一下具体缩写的意思 

COT-chain of thoughts
COT-SC (Self-consistency)
Tree of thoughts:Deliberate problem solving with LLM 

 

我理解其实不复杂
1. 最简单的是：直接大白话问一次 （IO）
2. 进阶一点是：思维链，让一步步思考（CoT）
3. 再进一步是：思维链问多次，出结果后选举——少数服从多数(CoT-SC)
4. 思维树=思维链问多次+链里每一步的逐步选举(ToT)

TOT论文中文解读：

(309条消息) Tree of Thoughts: Deliberate Problem Solving with Large Language Models翻译_nopSled的博客-CSDN博客

Github链接：

princeton-nlp/tree-of-thought-llm: Official Implementation of "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" (github.com)

论文原文：

[2305.10601] Tree of Thoughts: Deliberate Problem Solving with Large Language Models (arxiv.org)

REACT

Reference

GPT-4使用Tree of Thoughts框架，在解决复杂问题方面的能力提升了900%。_哔哩哔哩_bilibili

思考实践
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyPI 官网下载 | cot-1.8.0-py2.py3-none-any.whl
02-06
资源来自pypi官网，解压后可用。 资源全名：cot-1.8.0-py2.py3-none-any.whl
【LLM】Prompt Engineering
weixin_49816179的博客
12-16 926
介绍了4种微调方式，并用LoRA对ChatGLM进行了微调实战。
COT：大模型的强化利器
最新发布
AI相关从业分享
04-01 1147
一个完整的包含 CoT 的 Prompt 往往由指令（Instruction），逻辑依据（Rationale），示例（Exemplars）三部分组成。一般而言指令用于描述问题并且告知大模型的输出格式，逻辑依据即指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识，而示例则指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案。
思维链CoT进化成思维图GoT，比思维树更优秀的提示工程技术诞生了
weixin_40920183的博客
08-31 112
来源：机器之心用图的推理能力来设计 prompt，思维图能助力 LLM 解决更复杂的任务。要让大型语言模型（LLM）充分发挥其能力，有效的 prompt 设计方案是必不可少的，为此甚至出现了 prompt engineering（提示工程）这一新兴领域。在各种 prompt 设计方案中，思维链（CoT）凭借其强大的推理能力吸引了许多研究者和用户的眼球，基于其改进的 CoT-SC 以及更进一步的思维...
Tree of Thoughts（ToT）：让大模型能动地解决问题
Kaiyuan_sjtu的博客
10-25 617
作者|酯基整理|NewBeeNLP后台留言『交流』，加入 NewBee算法讨论组大型语言模型已经在多种任务中大显身手，甚至在数学、逻辑推理等任务上都表现出色。但是由于自回归模型从左到右的输出模式，使得模型只能进行token级别的单向决策。而人类在进行复杂问题的决策时，往往会采用树状的思维方式进行规划。基于这两点，作者设计了一种简单的 思维树(Tree of Thought, ToT) ...
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
qq128252的博客
06-12 1755
通过思维链（ToT） 允许 LM 通过考虑多个不同的推理路径和自我评估选择来决定下一个动作过程来执行深思熟虑的决策，以及在做出全局选择时展望未来或回溯在24点游戏中，而具有思维链提示的 GPT-4 仅解决了4% 的任务，我们的方法的成功率为 74%。此外，ToT 等搜索方法比采样方法需要更多的资源（例如 GPT-4 API 成本），以提高任务性能，但 ToT 的模块化灵活性允许用户自定义此类性能成本权衡，并且正在进行的开源努力 在不久的将来应该很容易降低此类成本。
AI 时代的炼金术：Prompt 完全食用指南
weixin_43984081的博客
10-20 500
提示(Prompt)是指一段用于引导模型理解问题的文本，通常位于问题的开头或结尾。它用于为模型提供上下文和任务要求，以帮助模型更好地理解和回答问题。例如：你想让chatGPT写出一篇文章，文章的题目是“我有一个朋友叫张三”，那么prompt就可以写成：请以"我有一个朋友叫张三"为开头，写一篇关于张三的文章，不少于500字。
论文笔记 CoT：提示+推理+大模型=思维链提示
be_humble的博客
04-10 1816
Google Brain CoT 思维链提示，为后面Instruction Finetune 打下基础的论文
大模型思维链经典论文阅读之——Zero-shot CoT, Manual CoT, AutoCoT
zenRRan的博客
07-04 1664
来自：SimpleAI进NLP群—>加入NLP交流群ChatGPT 以及 GPT4 作为纯自回归式语言模型，本不应该期待其有什么推理能力，尤其是数学推理，但是他们在基础的推理任务上却十分让我们惊艳（当然肯定不能作为专业的数学解题工具），这让我们非常好奇大模型（LLM）这么多参数里面到底藏了些什么好东西，怎么去激发大模型的潜能给我们带来更多惊喜。CoT（Chain of thought），思维...
小模型也能COT（人工智能大模型）
2301_81888214的博客
01-02 1144
前两章我们分别介绍了COT的多种使用方法以及COT的影响因素。这一章更多面向应用，既现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但是在中反复提到不论是few-shot还是zero-shot的思维链能力似乎都是100B左右的大模型才有的涌现能力，而在小模型上使用COT甚至会带来准确率的下降。至于为啥小模型无法进行COT，论文[5]通过把小模型回答错误但大模型可以回答正确的问题进行归纳总结，认为小模型的COT能力受到有限的语义理解和数学计算能力的限制。
用卷积滤波器matlab代码-C-COT:C-COT
05-21
用卷积滤波器matlab代码 签出，这是基于C-COT的。 与C-COT相比，ECO的速度提高了20倍，并进一步提高了性能。 连续对流 该MATLAB代码实现了连续卷积运算符跟踪器（C-COT）。 它是2016年可视对象跟踪（VOT）挑战赛中排名最高的跟踪器。[9] 出版物 可以在ECCV 2016论文中找到有关跟踪器的详细信息： 马丁·丹内利安（Martin Danelljan），安德里亚斯·罗宾逊（Andreas Robinson），法哈德·汗（Fahad Khan），迈克尔·费尔斯伯格（Michael Felsberg）。 “超越相关过滤器：学习用于视觉跟踪的连续卷积运算符。” 在2016年欧洲计算机视觉会议（ECCV）的会议记录中。 [] [] 如果您在工作中使用该代码或与我们的C-COT跟踪器进行比较，请引用以上出版物。 Bibtex条目： @InProceedings {DanelljanECCV2016， 标题= {除相关过滤器之外：学习用于视觉跟踪的连续卷积算子}， 作者= {Danelljan，Martin和Robinson，Andreas和Shahbaz Khan，
LDA的时间主题模型TOT的Python代码
03-05
LDA的时间主题模型，Python实现代码，带输入数据和停用词，运行无误
COT控制模式简述：TI的DCAP系列-综合文档
05-25
COT控制模式简述：TI的DCAP系列
COT-Group-Project
06-08
COT-集团-项目 在您选择的平台中下载 UCI 机器学习存储库中提供的 Iris 和 Wine 数据集。 在您的最终项目提交中描述数据集。 下载 libsvm 库（用于支持向量机 - SVM）。 这是你们都将执行的竞争性行业实力分类器。 写下您的团队如何在 Wine 和 Iris 数据集（以及您使用的任何其他数据集以及下面额外学分部分提供的更多详细信息）上执行该库的描述。 Demonstrate the execution of the SVM classifier on the datasets by first training the classifier on a suitably chosen training set and then testing the classifier on a separate test set (where you know the class
C-COT中文翻译WORD
12-10
C-COT论文的中文翻译Word版本，预览请见https://blog.csdn.net/weixin_38782845/article/details/78687485
解密Prompt系列11. 小模型也能COT-先天不足后天来补
m0_62396648的博客
07-15 271
前两章我们分别介绍了COT的多种使用方法以及COT的影响因素。这一章更多面向应用，既现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但是在中反复提到不论是few-shot还是zero-shot的思维链能力似乎都是100B左右的大模型才有的涌现能力，而在小模型上使用COT甚至会带来准确率的下降。至于为啥小模型无法进行COT，论文[5]通过把小模型回答错误但大模型可以回答正确的问题进行归纳总结，认为小模型的COT能力受到有限的语义理解和数学计算能力的限制。
从 CoT 到 Agent，最全综述来了！上交出品
夕小瑶科技说
11-26 632
在介绍什么是思维链 CoT 之前，让我们先从两个更大的概念开始。首先，什么是“语言智能”？语言智能可以被理解为“使用基于自然语言的概念对经验事物进行‘理解’以及在概念之间进行‘推理’的能力”，无疑，人类是目前已知生物之中唯一具备这种高级的抽象与理解能力的生物，从另一个层面而言，语言智能能力也是将人类从动物之中区分出来作为一种“智慧物种”的标志能力之一。而随着参数量的飞升，以 Transformer 为基础架构的大规模语言模型以 “Chat” 的方式逐渐向人们展现出了它的概念理解与概念推理的能力。
ToT： 利用大语言模型进行有意识的问题解决（上）7.17+（下）7.18
RM_Jin的博客
07-17 566
语言模型正在迅速成为一般问题解决的部署，但在推理过程中仍然局限于标记级别（token-level），在推理中从左到右做出决定的过程。这意味着语言模型有许多缺陷，在需要探究的任务，需要战略展望的任务，或者初始决定有着重要意义的任务。token-Level是指以token为单位进行处理和分析的级别。一个token可以是一个单词，一个字符，一个标点符号或者是一个子词，具体取决于所使用的tokenization方法和任务的要求。
Zero-shot-CoT
09-21
Zero-shot CoT是一种名为Zero-shot Compositionality Testing的方法。它是一种不需要动手的傻瓜式Compositionality Testing的方法。在数学推理问题上，Zero-shot CoT能够显著提升性能。然而，Zero-shot CoT也存在一些问题。当Zero-shot方法推出正确答案后，有时候会继续推理，进而导致最终错误。另外，有时候Zero-shot方法也会干脆不进行推理，直接重复题目。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值