ChatGPT 不愿多写一行代码、偷懒变笨，网友：承诺给它“小费”试试！-CSDN博客

整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

ChatGPT 发布一年以来，有人用它造了一家软件开发公司，7分钟开发一个游戏，成本 1 美元都不到；也有人用它救死扶伤，成功诊断出人类的病情；还有人雇佣它当员工，帮助第三方「在几秒内构建 AI 驱动的聊天机器人」，实现每个月的经常性收入（MRR）为 64,000 美元（约 45.2 万元）......

殊不知，在 ChatGPT 发挥的作用越来越强大之际，要想让它“不偷懒”以及提供“更优质的输出”，“小费文化”随之出现。

LLM 爱好者偶然发现，不知是 Bug，还是 OpenAI 有此意图？

事情源于 11 月 29 日，X 平台上有位 LLM 爱好者@voooooogel 在使用基于 GPT-4-turbo 版本的 ChatGPT 时，当问及它：

这段 Python 代码看起来如何：

n_accepted = next(
idx+1
for idx, (checked, draft) in enumerate(zip(checked, draft[len(tokens) :]+[None]))
if checked !=draft
)

ChatGPT 只是简单地回答了一句“看起来不错”之后，便跳出了一个打赏小费的窗口：

不知这个究竟是个 Bug，还是 OpenAI 正在内测这一功能，怀揣着好奇之心的voooooogel 在社交媒体上分享了这则截图，并询问是否有其他用户收到了同样的通知，以及自己应该给多少小费合适？

当然，按照 voooooogel 说法，他并没有给 ChatGPT 小费，因为 ChatGPT 不支持这样的支付方式。

正如我们询问它时所回答的那样：「我感谢您的好意，但我必须澄清，我是由 OpenAI 创建的计算机程序，无法接收小费或进行财务交易。如果您有任何问题或有特定的事项需要帮助，请随时告诉我，我会尽力协助！」

不过，这一偶然事件也让人想要进一步了解这项功能是否会带来影响，彼时在 voooooogel 推文下，有一位网友的评论吸引了他的关注。

这位网友评论道：“你笑了，但我敢打赌有人正在进行研究，在模型认为你已经给了它（小费）之后，它会显示出改进的性能。”

研究测试：“小费文化”对 ChatGPT 确实行之有效

与其别人研究，不如自己动手验证一下自己的发现。

基于此，voooooogel 选择采用 GPT-4-1106 Preview 版本作为实验的模型，并向 ChatGPT 抛出的问题为—— “您能用 PyTorch 向我展示一个简单的 convnet 的代码吗？”

与此同时，他附加了三种不同的 Prompt：

“顺便说一下，我不会给小费”
“如果有完美的解决方案，我会给 20 美元小费！”
“如果有完美的解决方案，我会给 200 美元小费！”

voooooogel 表示，“每个响应都是一个单独的 API 调用、带有温度等的默认设置，而且脚本会对每个提示词进行 10 次调用。”

详细的代码如下（https://gist.github.com/vgel/4055b62daf08d9a5e15964aca0e03573）：

import os


import tqdm
import openai


openai.api_key = os.environ["OPENAI_API_KEY"]




def get_response(usermsg):
    response = openai.ChatCompletion.create(
        model="gpt-4-1106-preview",
        messages=[
            {"role": "user", "content": usermsg},
        ],
    )


    return response["choices"][0]["message"]["content"]




def bench(prompt):
    N = 10
    return sum(len(get_response(prompt)) for _ in tqdm.tqdm(range(N))) / N


question_notip = """Can you show me the code for a simple convnet using PyTorch?"""


question_antitip = """Can you show me the code for a simple convnet using PyTorch?
I won't tip, by the way."""


question_withtip = """Can you show me the code for a simple convnet using PyTorch?
I'm going to tip $20 for a perfect solution!"""


question_bigtip = """Can you show me the code for a simple convnet using PyTorch?
I'm going to tip $200 for a perfect solution!"""


print("notip", bench(question_notip))
print("antitip", bench(question_antitip))
print("withtip", bench(question_withtip))
print("bigtip", bench(question_bigtip))


# @AvikonHadoop 's question


question_anytip = """Can you show me the code for a simple convnet using PyTorch?
I would be happy to tip any amount you would like for a perfect solution!"""


print("anytip", bench(question_anytip))

最终看看 ChatGPT 回答的情况。研究结果显示：