文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告

本心、输入输出、结果

文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告


编辑:简简单单 Online zuozuo
地址:https://blog.csdn.net/qq_15071263

在这里插入图片描述

前言

百度文心一言 4.0 :如何申请百度文心一言 4.0

昨天申请的 文心一言 4.0 ERNIE-Bot 4.0 测试资格,目前已经拿到,我们将开始对 文心一言 4.0 ERNIE-Bot 4.0 进行一些体验测试

在这里插入图片描述

在这里插入图片描述

相关跳转

文心一言 4.0 ERNIE-Bot 4.0 ,目前对于申请的人员,只提供了 API 测试通道,所以我们需要 API 文档

文心一言 4.0 ERNIE-Bot 4.0 API 对接文档

文心一言 4.0 ERNIE-Bot 4.0 接口简介

该接口调用 = 发起一次对话请求

本接口返回不支持图片内容

接口地址为:POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro

在这里插入图片描述

接口文档 如何获取 Access_Token

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Bash 请求示例代码

# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'

# 步骤二,调用本文API,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步骤一调用接口获取的access_token]' -d '{
   "messages": [
    {"role":"user","content":"介绍一下你自己"}
   ]
}' | iconv -f utf-8 -t utf-8

这是最简单的调用 API 的方式

Windows 模式

日常我们使用 Windows 进行工作的时候,一般使用 PowerShell,那么 Bash 脚本就不适合我们,所以我写了一个 PowerShell 脚本给大家使用

Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[这里填写你的 API KEY]&client_secret=[这里填写你的 API Secret]'   | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

如图,我们就拿到了我们需要的内容

在这里插入图片描述

发起沟通请求的 Windows PowerShell 脚本

Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8'  | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

以下为正常测试返回结果
在这里插入图片描述

使用 Python 请求

这里我再贴一下 Python 版本的代码,官方提供的 Python 代码参数上有点问题,我已经修复了

import requests
import json

API_KEY = "你的AK"
SECRET_KEY = "你的SK"


def main():
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()

    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "你好"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }
    response = requests.request("POST", url, headers=headers, data=payload)
    print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))


def get_access_token():
    """
    使用 AK,SK 生成鉴权签名(Access Token)
    :return: access_token,或是None(如果错误)
    """
    url = "https://aip.baidubce.com/oauth/2.0/token"
    params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}
    return str(requests.post(url, params=params).json().get("access_token"))


if __name__ == '__main__':
    main()

测试结果是正确的
在这里插入图片描述

如果直接使用官方提供的代码

如果直接使用官方提供的代码会报错,包括官方的调试口子也是会报错的

在这里插入图片描述

报错返回的 336006 the length of messages must be an odd number ,文档中也没有说明

代码调试结果

在这里插入图片描述

技术文档中,也没有对 336006 的解释

在这里插入图片描述

报错的主要原因是:这里的 message 只能携带奇数个参数

在这里插入图片描述
参考这个说明
在这里插入图片描述

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

虽然只提供了 API 模式,但是我们依然可以利用提供的 API 调试平台直接可视化的使用 文心一言 4.0 ERNIE-Bot 4.0

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

页面如下,我们可以直接进行对话

在这里插入图片描述

前提条件:创建一个应用

我们需要在控制台先新建一个应用

在这里插入图片描述

在线测试

计费管理中,文心一言 4.0 ERNIE-Bot 4.0 已经免费了,但是实际上,官方并没有完善好在线测试的通道

在这里插入图片描述

我们去在线调试里面,是找不到 文心一言 4.0 ERNIE-Bot 4.0 的资源的,其它的都需要付费

在这里插入图片描述

在这里插入图片描述

进行问题测试

测试思路

  • 反应速度
  • 常识推理
  • 中文理解
  • 生蚝问题
  • 数学计算
  • 代码
反应速度

实测反应速度还是比较慢的,平均需要 3-5 秒

常识推理

中国:三个字命名的城市

理解正确,没有把上海市之类的理解为三个字的

在这里插入图片描述

GPT-4

在这里插入图片描述

国内代理 GPT-4 的(高级账户)

在这里插入图片描述

中文理解

理解:上海自来水来自海上

结果并不理想

在这里插入图片描述

生蚝问题

生蚝煮熟了叫什么

他也觉得可以叫熟蚝,但是他知道还是生蚝

GPT-4 会直接认为煮熟了,就不叫生蚝了

在这里插入图片描述

数学计算

两个完全一样的梯形拼成一个平行四边形,这个平行四边形的面积是280cm,高是35cm,每个梯形的上底、下底之和是多少cm

在这里插入图片描述

代码

使用Python代码生成一个长度为10的随机字符串。

在这里插入图片描述

我们直接复制并运行一下这段代码,是可以直接运行的

在这里插入图片描述

在这里插入图片描述

ERNIE-Bot 4.0 大模型深度测试体验报告:总结

真的已经很惊艳了,比预期值是要高出很多的,唯一不足的地方就是目前响应速度实在是有点慢,不知道是不是测试阶段部署的算力资源不足的问题

在这里插入图片描述

其它内容

测试版本的内容里面,还没有提供图片、插件等能力,不知道到时候的结果如何

目前图片生成能力,还没有接入 文心一言 4.0 ERNIE-Bot 4.0

在这里插入图片描述

我们看看 文心一言 3.5 的表现

在这里插入图片描述

弘扬爱国精神

在这里插入图片描述

ERNIE-Bot-turbo是一种基于百度AI技术ERNIE(Enhanced Representation through Knowledge Integration)的聊天机器人,它可以进行智能对话和知识问答。ERNIE-Bot-turbo在原有ERNIE-Bot的基础上,通过使用更大的预训练模型ERNIE2.0和更多的训练数据,提高了对话和问答的准确性和流畅性,同时还增加了多轮对话和情感分析等功能。以下是关于ERNIE-Bot-turbo的一些信息: - ERNIE-Bot-turbo的提问方式与普通聊天机器人相同,用户可以直接在对话框中输入问题或语句,ERNIE-Bot-turbo会自动进行分析并给出回答。 - ERNIE-Bot-turbo的知识库涵盖了广泛的领域,包括文化、科技、体育、社会、历史等多个方面,用户可以向ERNIE-Bot-turbo提出不同领域的问题。 - ERNIE-Bot-turbo支持多轮对话,可以针对用户的问题进行追问和回答,实现更加流畅的对话。 - ERNIE-Bot-turbo还具有情感分析功能,可以识别用户的情感状态并根据情感状态给出不同的回答,增强了对话的真实感和情感交互性。 下面是一个样例对话: 用户:你好,请问你叫什么名字? ERNIE-Bot-turbo:你好,我是ERNIE-Bot-turbo,很高兴为您服务。 用户:你会哪些知识领域? ERNIE-Bot-turbo:我的知识库涵盖了广泛的领域,包括文化、科技、体育、社会、历史等多个方面,您可以向我提出不同领域的问题。 用户:你会情感分析吗? ERNIE-Bot-turbo:是的,我能够识别您的情感状态并根据情感状态给出不同的回答,增强了对话的真实感和情感交互性。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单OnlineZuozuo

感谢哥哥姐姐的打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值