山东大学软件学院创新实训---通义千问大模型的Java调用

已于 2024-06-19 10:43:17 修改
阅读量803 收藏 11
点赞数 18
文章标签： 笔记
于 2024-05-07 01:49:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PAVOkeyuhao/article/details/138513912
版权

关键网址：

如何快速开始通义千问_模型服务灵积(DashScope)-阿里云帮助中心

如何使用通义千问API_模型服务灵积(DashScope)-阿里云帮助中心

在官网文档中提及了通过Messages调用（推荐）和通过prompt调用两种方式，于是我调查了这两种调用方式的区别：

通过 prompt 调用和通过 messages 调用的主要区别在于输入数据的方式和适用场景：

  1. 通过 prompt 调用：

    • 使用单个文本作为输入，称为提示文本（prompt），代表用户的一个请求或问题。
    • 适用于单次性的、独立的文本生成任务，不需要考虑上下文或历史消息。
    • 例如，当用户提出一个问题或请求时，可以直接将该问题或请求作为提示文本传递给模型进行文本生成。

  2. 通过 messages 调用：

    • 使用消息管理器（MessageManager）来管理多个消息，包括用户消息和系统消息，形成消息队列。
    • 适用于需要考虑上下文、历史消息、多轮对话等情况。
    • 可以在多轮对话中保持上下文，模拟与用户的自然对话，根据之前的交互进行文本生成。
    • 例如，在一个聊天机器人的场景中，用户提出的问题可能需要结合之前的对话历史来进行回答，此时就需要使用消息管理器来管理上下文信息。

通过上面对比可以看出Messages通用性更高，因为智慧医疗问诊确实需要使用到累计的对话记录。

所以下面就重点研究通过Messages调用的方法。

首先是官方的示例代码，但是官方代码不能直接运行，还需要做相关配置。下面是我调试好的代码，为了保险，我把key值隐藏了，替换掉即可。

package com.A611699;// Copyright (c) Alibaba, Inc. and its affiliates.

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.aigc.generation.models.QwenParam;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.MessageManager;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;



public class Maintest {
    public static void callWithMessage()
            throws NoApiKeyException, ApiException, InputRequiredException {
        Generation gen = new Generation();
        com.alibaba.dashscope.utils.Constants.apiKey = "*********";
        MessageManager msgManager = new MessageManager(10);
        Message systemMsg =
                Message.builder().role(Role.SYSTEM.getValue()).content("You are a helpful assistant.").build();
        Message userMsg = Message.builder().role(Role.USER.getValue()).content("如何做西红柿鸡蛋？").build();
        msgManager.add(systemMsg);
        msgManager.add(userMsg);
        QwenParam param =
                QwenParam.builder().model(Generation.Models.QWEN_TURBO).messages(msgManager.get())
                        .resultFormat(QwenParam.ResultFormat.MESSAGE)
                        .build();
        GenerationResult result = gen.call(param);
        System.out.println(result);
    }


    public static void main(String[] args){
        try {
            callWithMessage();
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            System.out.println(e.getMessage());
        }
        System.exit(0);
    }
}

通义千问模型的调用有两种方式：使用DashScope SDK和HTTP接口

一、使用DashScope SDK调用

1、首先需要  安装DashScope SDK。

2、开通服务并且获得通义千问的API-KEY  开通DashScope并创建API-KEY。

3、推荐将API-KEY配置到环境变量中来降低API-KEY的泄露风险，可参考通过环境变量配置API-KEY，当然也可以在代码中配置API-KEY，但是这样泄露了话就可能就烧钱了。

官方的单轮对话代码：已经调试好了，替换掉API-KEY就行

package com.A611699;// Copyright (c) Alibaba, Inc. and its affiliates.

// 建议dashscope SDK的版本 >= 2.12.0

import java.util.Arrays;
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;

public class Maintest {

    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        Generation gen = new Generation();
        com.alibaba.dashscope.utils.Constants.apiKey = "**********";

        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();

        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("如何做西红柿炒鸡蛋？")
                .build();

        GenerationParam param = GenerationParam.builder()
                .model("qwen-turbo")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .build();

        return gen.call(param);
    }

    public static void main(String[] args) {
        try {
            GenerationResult result = callWithMessage();
            System.out.println(result);
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // 使用日志框架记录异常信息
            // Logger.error("An error occurred while calling the generation service", e);
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
        System.exit(0);
    }
}

相对于单轮对话，多轮对话可以参考历史聊天信息，更符合日常交流的场景。但由于调用时会引入历史聊天信息，使用的token量会增多。下面是多轮对话的代码。但是多轮的提问问题已经在代码中写死了。

package com.A611699;// Copyright (c) Alibaba, Inc. and its affiliates.

import java.util.ArrayList;
import java.util.List;
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.JsonUtils;

public class Maintest {

    // 设置 API key
    static {
        com.alibaba.dashscope.utils.Constants.apiKey = "sk****************";
    }

    public static GenerationParam createGenerationParam(List<Message> messages) {
        return GenerationParam.builder()
                .model("qwen-turbo")
                .messages(messages)
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .build();
    }

    public static GenerationResult callGenerationWithMessages(GenerationParam param) throws ApiException, NoApiKeyException, InputRequiredException {
        Generation gen = new Generation();

        return gen.call(param);
    }

    public static void main(String[] args) {
        try {
            List<Message> messages = new ArrayList<>();
            messages.add(createMessage(Role.SYSTEM, "You are a helpful assistant."));
            messages.add(createMessage(Role.USER, "如何做西红柿炖牛腩？"));

            GenerationParam param = createGenerationParam(messages);
            GenerationResult result = callGenerationWithMessages(param);
            printResult(result);

            // 添加assistant返回的消息到列表
            messages.add(result.getOutput().getChoices().get(0).getMessage());

            // 添加新的用户消息
            messages.add(createMessage(Role.USER, "不放糖可以吗？"));

            result = callGenerationWithMessages(param);
            printResult(result);
            printResultAsJson(result);
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            e.printStackTrace();
        }
        System.exit(0);
    }

    private static Message createMessage(Role role, String content) {
        return Message.builder().role(role.getValue()).content(content).build();
    }

    private static void printResult(GenerationResult result) {
        System.out.println(result);
    }

    private static void printResultAsJson(GenerationResult result) {
        System.out.println(JsonUtils.toJson(result));
    }
}

下面再做改进，体验实时在线多轮对话功能，但是对话轮数已经写固定了（10轮），可以在代码中修改。

package com.A611699;

import java.util.ArrayList;
import java.util.List;
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import java.util.Scanner;

public class Maintest {

    // 设置 API key
    static {
        com.alibaba.dashscope.utils.Constants.apiKey = "sk-****************";
    }

    public static GenerationParam createGenerationParam(List<Message> messages) {
        return GenerationParam.builder()
                .model("qwen-turbo")
                .messages(messages)
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .build();
    }

    public static GenerationResult callGenerationWithMessages(GenerationParam param) throws ApiException, NoApiKeyException, InputRequiredException {
        Generation gen = new Generation();
        return gen.call(param);
    }

    public static void main(String[] args) {
        try {
            List<Message> messages = new ArrayList<>();

            messages.add(createMessage(Role.SYSTEM, "You are a helpful assistant."));
            for (int i = 0; i < 10;i++) {
                Scanner scanner = new Scanner(System.in);
                System.out.print("请输入：");
                String userInput = scanner.nextLine();
                if ("exit".equalsIgnoreCase(userInput)) {
                    break;
                }
                messages.add(createMessage(Role.USER, userInput));
                GenerationParam param = createGenerationParam(messages);
                GenerationResult result = callGenerationWithMessages(param);
                System.out.println("模型输出："+result.getOutput().getChoices().get(0).getMessage().getContent());
                messages.add(result.getOutput().getChoices().get(0).getMessage());
            }
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            e.printStackTrace();
        }
        System.exit(0);
    }

    private static Message createMessage(Role role, String content) {
        return Message.builder().role(role.getValue()).content(content).build();
    }
}

大模型并不是一次性生成最终结果，而是逐步地生成中间结果，最终结果由这些中间结果拼接而成。在非流式输出方式中，等待模型生成结束后，所有中间结果将被拼接成最终结果，然后返回。相比之下，流式输出可以实时地将中间结果返回，您可以在模型继续进行输出的同时进行阅读，从而减少等待模型回复的时间。要使用流式输出，您需要进行一些配置。在 DashScope Python SDK 中，您需要设置 stream 参数为 True；在 DashScope Java SDK 中，您需要使用 streamCall 接口调用。下面是调试好的代码：

package com.A611699;// Copyright (c) Alibaba, Inc. and its affiliates.

import java.util.Arrays;
import java.util.concurrent.Semaphore;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.concurrent.Semaphore;
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.JsonUtils;
import io.reactivex.Flowable;

public class Maintest {


    static {
        // 设置 API key
        com.alibaba.dashscope.utils.Constants.apiKey = "sk-***********************";
    }
    private static final Logger logger = LoggerFactory.getLogger(Main.class);

    private static void handleGenerationResult(GenerationResult message, StringBuilder fullContent) {
        fullContent.append(message.getOutput().getChoices().get(0).getMessage().getContent());
        logger.info("Received message: {}", JsonUtils.toJson(message));
    }

    public static void streamCallWithMessage(Generation gen, Message userMsg)
            throws NoApiKeyException, ApiException, InputRequiredException {
        GenerationParam param = buildGenerationParam(userMsg);
        Flowable<GenerationResult> result = gen.streamCall(param);
        StringBuilder fullContent = new StringBuilder();

        result.blockingForEach(message -> handleGenerationResult(message, fullContent));

        logger.info("Full content: \n{}", fullContent.toString());
    }

    public static void streamCallWithCallback(Generation gen, Message userMsg)
            throws NoApiKeyException, ApiException, InputRequiredException, InterruptedException {
        GenerationParam param = buildGenerationParam(userMsg);
        Semaphore semaphore = new Semaphore(0);
        StringBuilder fullContent = new StringBuilder();

        gen.streamCall(param, new ResultCallback<GenerationResult>() {
            @Override
            public void onEvent(GenerationResult message) {
                handleGenerationResult(message, fullContent);
            }

            @Override
            public void onError(Exception err) {
                logger.error("Exception occurred: {}", err.getMessage());
                semaphore.release();
            }

            @Override
            public void onComplete() {
                logger.info("Completed");
                semaphore.release();
            }
        });

        semaphore.acquire();
        logger.info("Full content: \n{}", fullContent.toString());
    }

    private static GenerationParam buildGenerationParam(Message userMsg) {
        return GenerationParam.builder()
                .model("qwen-turbo")
                .messages(Arrays.asList(userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .incrementalOutput(true)
                .build();
    }

    public static void main(String[] args) {
        try {
            Generation gen = new Generation();
            Message userMsg = Message.builder().role(Role.USER.getValue()).content("如何做西红柿炖牛腩？").build();

            streamCallWithMessage(gen, userMsg);
            streamCallWithCallback(gen, userMsg);
        } catch (ApiException | NoApiKeyException | InputRequiredException | InterruptedException e) {
            logger.error("An exception occurred: {}", e.getMessage());
        }
    }
}

A611699
关注
  • 18
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
调用通义千问大语言模型-小白新手教程
01-26
**调用通义千问大语言模型 - 小白新手教程** 在当今的AI领域，大语言模型已经成为了核心技术之一，它们能够理解自然语言、进行对话，并执行各种任务。通义千问作为一款强大的预训练语言模型，为开发者提供了一个...
基于 java 的 调用大模型 代码， 和langhcain 有相似的功能
05-01
对接了 百度文心一言、阿里通义千问、字节 云雀大模型、百川智能、腾讯 混元大模型等。 基本支持国内的所有大模型调用，调用简单快捷，更有基于 java 的接口式 面向对象调用方式
使用Java+Qwen+SearXNG构建本地AI搜索问答
weixin_44455388的博客
04-17 1084
，拓展大模型的网络搜索能力，但存在一个问题就是SerpAPI每月只能使用100次的免费调用。），调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索，可以实现完全免费、私人和本地运行的搜索聚合器。作为一个Java程序员，博主借鉴FreeAskInternet的思路，使用Java+Qwen+SearXNG构建了本地AI搜索问答，相比原来使用SerpAPI，使用上将不受限制。
Qwen2在Java项目中如何实现优雅的Function_Call工具调用
weixin_44455388的博客
06-20 1274
在当今AI技术飞速发展的背景下，大语言模型如Qwen2和GLM-4凭借其强大的语言处理能力，在诸多领域展现出了巨大的潜力。然而，大模型并非全知全能，它们在处理特定任务时，尤其是在需要与外部系统交互或执行具体功能时，会遇到一定的局限性。这主要是因为大模型通常被设计为封闭的文本生成系统，缺乏直接调用外部工具或API的能力。这种局限性凸显了工具调用在实际应用中的必要性，它能够扩展模型的功能边界，使其能够在真实世界场景中执行更加复杂和具体的操作。
根据阿里文档编写【springAI+通义千问】出现的 “Can not find api-key” 异常
cab5的博客
06-11 343
springAI，通义千问，Can not find api-key
java调用通义千问API
weixin_59504796的博客
09-07 5208
java调用通义千问api
通义千问最新api java调用
qq_73999886的博客
04-08 677
PooledDashScopeObjectUsage ：使用代码的方式导入（文件的方式我不知道目录在哪...）官网给出的demo中默认进行了多轮对话的设置，具体在下面这一部分，）来让模型理解上下文，从而支持多轮对话的功能。获取自己的api-key：按照官方手册进行获取即可。导入dashscope最新依赖、pool2依赖。时，模型会基于提供的消息上下文生成相应的回答。最后运行main即可，一天可以调用10次。【代码来自阿里云官网解决方案】通过传入历史对话记录（即。
通义千文大模型API调用示例(python)
weixin_48857697的博客
12-15 8930
通义千问API调用。
202404最新java调用通义千问的api接口
mzh10588的博客
04-19 1317
武汉是一座充满历史文化魅力和现代活力的城市，4月20日的周末可以考虑以下几个既经济实惠又好玩的活动：1. **东湖绿道骑行**：东湖绿道是免费开放的，你可以租一辆共享单车（如摩拜、ofo），沿着湖边骑行，欣赏美景，感受武汉的自然风光。记得带上防晒用品哦, toolCalls=null, toolCallId=null))]))1.1，在window的环境变量配置key。2.2,使用demo，复制官网demo；2.1，配置pom.xml。
阿里通义千问API(Java)使用教程,基于Springboot后端
rnnf_yyds的博客
03-06 4944
这里controller层并未将前端的请求数据传入给api中的参数，有需求的可以自己加一下，这里就使用浏览器测试一下看是否返回数据即可。接着就是官网上的Demo了，我们这里封装一下。
《AI大模型应用》--自定义SDK 调用通义千问 API.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型应用》--一个调用阿里云通义千问的http服务端程序.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型应用》--通过读取.xlsx文件内容对通义千问VL模型进行自动化调用测试.zip
最新发布
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型应用》--通义千问开源版（Qwen1.5）OpenAI API调用格式 Pot翻译插件.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
使用Python免费调用通义千问大模型
PYmili的博客
12-02 4724
​ 最近，阿里云的通义千问Qwen-72b大模型宣布开源了！现可以在魔撘社区（点击跳转）免费体验，也可通过官方限时免费开放的api使用。本文就将讲解如何使用官方ap
通义千问大模型prompt调试
wanxueyao的博客
05-15 1300
任务依旧是文本分类，大模型选用的是通义千问72B-chat-int4。这里不对参数进行调整，只讲述不同prompt对于结果及其准确度的影响。数据使用之前数据清理的铁矿石文本。写的非常零碎，只作为个人学习记录，因为服务器莫名掉线，一晚上程序白写，文章后期就摆烂了....仅供参考。
Java+SpringBoot调用通义千问的大语言模型的API及前端Vue实现联调
蓝雨天的博客
05-15 1595
Java+SpringBoot调用通义千问的大语言模型的API及前端Vue实现联调
AI学习：文本对话 -通义千问
weixin_42954448的博客
12-14 3521
通义千问是阿里云自主研发的大语言模型。通义千问以用户以文本形式输入的指令（prompt）以及不定轮次的对话历史（history）作为输入，返回模型生成的回复作为输出。在这一过程中，文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位，可以直观的理解为“字”或“词”。对于中文文本来说，1个token通常对应一个汉字；对于英文文本来说，1个token通常对应3至4个字母或1个单词。
本地部署离线通义千问-1_8B-Chat与通义千问-14B-Chat模型及使用Lora方法对它们进行微调与验证（非常详细，值得大家借鉴且效果比Chatglm3-6B微调效果好）
nfkjdx的博客
03-22 4343
Centos7下部署和微调通义千问大模型，效果优于chatglm3-6B，且效果很佳
阿里通义千问大模型AI接入
04-03
阿里通义千问大模型AI接入是指将阿里通用AI模型“千问”接入到应用程序中，以实现智能问答功能。该模型基于大规模的数据集和深度学习技术，可以理解用户的问题并给出准确的答案。 接入阿里通义千问大模型AI的步骤如下： 1. 注册阿里云账号并登录。 2. 在阿里云控制台中创建一个新的“千问”实例。 3. 获取API密钥，用于访问“千问”API接口。 4. 在应用程序中调用“千问”API接口，将用户的问题传递给模型，并获取返回的答案。 通过接入阿里通义千问大模型AI，您可以为您的应用程序提供智能问答功能，帮助用户解决问题和获取信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值