大模型智障检测+1：Strawberry有几个r纷纷数不清，最新最强Llama3.1也傻了

于 2024-08-02 10:32:49 发布
阅读量517 收藏 8
点赞数 19
文章标签： 人工智能 gpt agi 安全 语言模型 c#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43467475/article/details/140866124
版权

继分不清9.11和9.9哪个大以后，大模型又“集体失智”了！

数不对单词“Strawberry”中有几个“r”，再次引起一片讨论。

GPT-4o不仅错了还很自信。

图片

刚出炉的Llama-3.1 405B，倒是能在验证中发现问题并改正。

图片

比较离谱的是Claude 3.5 Sonnet，还越改越错了。

图片

说起来这并不是最新发现的问题，只是最近新模型接连发布，非常热闹。

一个个号称自己数学涨多少分，大家就再次拿出这个问题来试验，结果很是失望。

在众多相关讨论的帖子中，还翻出一条马斯克对此现象的评论：

好吧，也许AGI比我想象的还要更远。

图片

路遇失智AI，拼尽全力终于教会

有人发现，即使使用Few-Shot CoT，也就是“一步一步地想”大法附加一个人类操作示例，ChatGPT依然学不会：

倒是把r出现的位置都标成1，其他标成0，问题的难度下降了，但是数“1”依旧不擅长。

图片

为了教会大模型数r，全球网友脑洞大开，开发出各种奇奇怪怪的提示词技巧。

比如让ChatGPT使用漫画《死亡笔记中》高智商角色“L”可能使用的方法。

图片

ChatGPT想出的方法倒是也很朴素，就是分别把每个字母写出来再一个一个数并记录位置，总之终于答对了。

图片

有Claude玩家写了整整3682个token的提示词，方法来自DeepMind的Self-Discover论文，可以说是连夜把论文给复现了。

图片

整个方法分为两大阶段：先针对特定任务让AI自我发现推理步骤，第二阶段再具体执行。

图片

发现推理步骤的方法简单概括就是，不光要会抽象的思维方法，也要具体问题具体分析。

图片

这套方法下，Claude给出的答案也非常复杂。

图片

作者补充，花这么大力气解决“数r问题”其实并不真正实用，只是在尝试复现论文方法时偶然测试到了，希望能找出一个能用来回答所有问题的通用提示词。

不过很可惜，这位网友目前还没公布完整的提示词。

图片

还有人想到更深一层，如果要计算文档中straberry出现多少次怎么办？

他的方法是让AI想象有一个从0开始的内存计数器，每次遇到这个单词就往上加。

图片

有人评论这种方法就像在用英语编程。

图片

也有AI可以一次做对

那么究竟有没有大模型，可以不靠额外提示词直接答对呢？

其实不久之前有网友报告，ChatGPT是有小概率能直接答对的，只不过不常见。

图片

谷歌Gemini 大概有三分之二的概率能答对，打开“草稿”就能发现，默认每个问题回答三次，两次对一次错。

图片

至于国内选手，在提问方式统一、每个模型只给一次尝试机会的测试下，上次能正确判断数字大小的，这次同样稳定发挥。

字节豆包给出了正确回答，还猜测用户问这个问题是要学习单词拼写吗？

图片

智谱清言的ChatGLM，自动触发了代码模式，直接给出正确答案“3”。

在这里插入图片描述

腾讯元宝像解数学题一样列方程给出了正确答案（虽然貌似没有必要）。

图片

文心一言4.0收费版则更加详细，也是先正确理解了意图，然后掰指头挨个找出了全部的“r”。

图片

不过有意思的是，在同一种方法下，文心一言APP中的免费版文心3.5掰指头也能数错。

图片

讯飞星火也通过找出“r”所在位置给出了正确回答。

图片

还是token的锅

虽然“数r”和“9.11与9.9哪个大”，看似一个是数字问题一个是字母问题，但对于大模型来说，都是token问题。

单个字符对大模型来说意义有限，使用GPT系列的Llama系列的tokenizer就会发现，20个字符的问题，在不同AI眼中是10-13个token。

其中相同之处在于，strawberry被拆成了st-，raw，-berry三个部分来理解。

图片

换一个思路用特殊字符ⓢⓣⓡⓐⓦⓑⓔⓡⓡⓨ来提问，每一个字符对应的token也就会分开了。

图片图片

面对这种问题，其实最简单的方法就是像智谱清言一样，调用代码来解决了。

图片

可以看到，ChatGPT直接用Python语言字符串的count函数，就能简单搞定。

图片

刚刚创业开了所学校的大神卡帕西认为，关键在于需要让AI知道自己能力的边界，才能主动去调用工具。

图片

至于教给大模型判断自己知道不知道的方法，Meta在LLama 3.1论文中也有所涉及。

图片

最后正如网友所说，希望OpenAI等大模型公司，都能在下个版本中解决这个问题。

图片

GPT Tokenizer试玩
https://gpt-tokenizer.dev
Llama Tokenizer试玩
https://belladoreai.github.io/llama-tokenizer-js/example-demo/build/
​

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

吃不吃麦麦脆汁鸡
关注
  • 19
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实测Meta最新开源模型——LLaMA 3.1，能力惊人！
lhx17673139267的博客
07-30 694
通过以上测试可以看出，LLaMA 3.1:8B虽然是参数最小的版本，但已经展现出相当强大的能力。对于有高性能需求的用户，70B和405B版本将会提供更强的计算能力和更准确的回答。在未来，随着LLaMA系列模型的不断优化，我们可以期待它在更多领域中的应用和表现。希望这篇文章能够帮助大家了解LLaMA 3.1的强大之处。
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
sinat_29984491的博客
07-27 1217
其实，如果你在 Prompt 里加上「think step by step」等思维链相关「咒语」，大模型是可以分步骤解决问题的，而且很有可能数对「r」的数量。（Jagged 的意思是参差不齐的）。这种参差不齐的智能表现和人类是不一样的，人类的知识体系和解决问题的能力在成长过程中是高度相关的，并且是同步线性发展的，而不是在某些领域突然大幅度提升，而在其他领域却停滞不前。对此，有人猜测说，大模型公司给 LLM 的设定可能就是让它在一个问题上花费尽可能少的时间，因此，除非你明确要求，不然它不会主动去深入思考。
AI视界周刊第 2 期：Llama 3.1 开源、AI 训 AI，越训越傻、AI 搜索重燃战火
战场小包的博客
07-28 360
AI 视界周刊由战场小包维护，每周一更新，包含热点聚焦、应用破局、学术前沿、社区热议、智见交锋、跨界 AI、企业动态和争议 AI 八大板块，后续板块划分和内容撰写在周刊迭代过程中持续优化，欢迎大家提出建议。
7款主流大模型实测：简单的数感测试全翻车
weixin_43467475的博客
07-22 444
如果大模型的算法不够聪明，不是真正的数学思维，也会影响到答题的正确率。很多数理化的专业知识并不是大模型的强项，并且很多大模型是利用搜索把之前已有的解题的经验和知识的推理相结合，可以理解为在搜索内容上进行理解，如果搜索内容本就是错误的，那么大模型给到的结果必然错误。阿里旗下的通义千问在第一次回答中给到了一个错误答案，并且阐述的位置也是错误的，第二次虽然再次给出了错误答案，但其回答中识别到了3个字母r，只是一句“注意虽然 “rr” 是连续的，但它们仍然被计算为两个单独的字母。但不管怎样，答案确实是正确的。
leetcode2-frontend-question::strawberry:你不知道的前端知识
06-29
你不知道的前端知识 An Front-end technology sharing and exchange. 你不知道的前端知识： fultter优秀开源项目集： 项目 网址 stars Flutter豆瓣客户端 Flutter UI 模板 Vue3优秀开源项目集: 项目 网址 stars Vue...
skullface::strawberry:那个
05-29
为爱与正义而战 嗨，我是骷髅脸（她/她）(*＾▽＾)／我是①跨学科designer +视觉artist + programmer ②热爱饱和色彩和闪光③致力... 我也喜欢猫，电子游戏，K-pop和美女！ :waving_hand: 度过最美好的一天 :rainbow:
windows Strawberry Perl 5.32最新版本
08-21
官网下载慢，这个已经下载好 windows Strawberry Perl 5.32最新版本 ，适合调试 perl windows Strawberry Perl 5.32最新版本 ，适合调试 perl windows Strawberry Perl 5.32最新版本 ，适合调试 perl windows ...
适用于Python的新GraphQL库:strawberry:-Python开发
05-25
基于数据类的Strawberry GraphQL Python GraphQL库安装方法：pip install Strawberry-graphql入门使用以下代码创建一个名为app.py的文件：基于数据类的Strawberry GraphQL Python GraphQL库安装方法：pip install ...
leetcode2sumc-Leetcode-Solution::strawberry:我的Leetcode解决方案
07-06
1 简单的 大批 2 中等的 链表 3 中等的 哈希表 4 难的 大批 5 中等的 动态规划 7 简单的 数学 8 中等的 细绳 10 难的 细绳 11 中等的 大批 13 简单的 数学 14 简单的 细绳 15 中等的 大批 16 中等的 大批 17 中等的 ...
昇思25天学习打卡营第1天|快速入门
07-28 831
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
和数集团十周年庆典：新起点、新目标、新征程
Likelib的博客
08-01 332
在十周年庆典这个特殊的日子，和数集团对在市场开拓、客户服务等方面具有突出表现的个人进行了表彰。
MOE模式：或将是最好的大模型应用开发路径
AI相关从业分享
07-28 796
MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。传统模型中的MOEGate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。
带并行卷积的水下图像背景前景分割方法
renhongxia1的博客
07-30 753
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
Transformer 架构告诉我们什么？
2401_85233349的博客
08-01 524
在传统的心理语言学方法中，人类语言是用可解释的模型来解释的，这些模型将符号元素（例如名词、动词、形容词、副词等）与基于规则的操作相结合。从几何上讲，它们之间的夹角越小，余弦值和点积就越大，并且这两个词在特定上下文中的相关性就越高，就像在高维空间中表示的那样。，Transformer 作为过度参数化的简单模型所展现出的蛮力学习，与进化过程类似，都是“简单而简约的”。下面是一个简单的示例，展示了词向量的基本概念。有趣的是，A 和 B 的相关系数也是角度的余弦（见上文 (2) 和 (3) 的公式）。
常用的机器学习模型的不同调用方式
最新发布
weixin_71458119的博客
08-01 267
不同机器学习方法的调用
torch.nn.RNN(）相关的参数设置
guoqingru0311的博客
07-31 290
torch.nn.RNN(）相关的参数设置
＜数据集＞手机识别数据集＜目标检测＞
qq_53332949的博客
07-29 295
YOLO与VOC格式的人员持有手机识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，图片数量16172
如何把视频语音转文字？交给这4款工具就完事
xixixihahaha_的博客
08-01 218
然而，随着采访的深入，如何快速准确地将这些珍贵的视频内容转化为文字记录，成为了一个亟待解决的问题。在这场速度与精准度的竞赛中，视频转文字的免费软件便成为了记者们不可或缺的助手。这两天巴黎奥运会的盛大开幕，世界各地的记者们纷纷涌入这个体育盛事的现场，带着他们的镜头和麦克风，捕捉每一个激动人心的瞬间。高精度识别：采用先进的语音识别技术，确保转换文字的准确性。适用于多种场景的视频转文字需求，特别是对外语视频的支持。云端存储：转换后的文字自动保存在云端，方便随时访问。③ 开始转写，并在线查看和编辑生成的文字内容。
编写jsp文件实现功能如下：输入一个数n，计算1！+2！+…+n！并把计算结果输出到客户端
09-25
首先，需要在 JSP 文件中创建一个 HTML 表单，其中包含一个文本字段，用于输入数字 n。然后，需要添加一个提交按钮，用于将表单数据提交到服务器。 接下来，需要使用 JSP 语句来接收表单数据并将其转换为数字。然后，需要使用循环语句来计算从 1 到 n 的阶乘。最后，需要使用 JSP 语句将计算结果输出到客户端。 下面是一个示例 JSP 文件，实现了上述功能： ``` <%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%> <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>计算阶乘</title> </head> <body> <form action="calculateFactorial.jsp" method="post"> 输入数字 n：<input type="text" name="n" /> <br /> <br /> <input type="submit" value="计算阶乘" /> </form> <% // 接收表单数据 int n = Integer.parseInt(request.getParameter("n")); // 计算阶乘 int result = 1; for (int i = 1; i <= n; i++) { result *= i; } // 输出结果 out.println(n + "! = " + result); %> </body> </html> ``` 希望这些信息能帮到你！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值