Semantic Kernel:Chat聊天服务

最新推荐文章于 2024-10-17 23:31:35 发布

dotNET跨平台

最新推荐文章于 2024-10-17 23:31:35 发布

阅读量40

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzAwNTMxMzg1MA==&mid=2654099804&idx=6&sn=84fe29ae25d3bbad6a60fdab1cc0d214&chksm=811a5dc5ec652f62f98ef61b4cd6cb5078e8c573a99ba869ff27f26c77ea88f5a5c942822ddf&scene=126&sessionid=0

版权

生成式AI之所以火爆，是通过ChatGPT引起的，因为这种智能对话（chat)式交互，颠覆人们对人机对话的认识和理解，它可以真人一样把上下文串起来，进行整体的理解和回复。

当然，SK会在早期的版中就进行了适配，SK让聊天上下文留存是通过ChatHistory实现的，并且这些内存会区分角色，当前1.15.0的包中角色有四种：System，Assistant，User，Tool，下面说明一下四种角色的功能和作用：

System (系统): 这个角色指示或设置助理的行为。在系统中，它可能是管理权限、控制流程或执行系统级任务的角色。
Assistant (助理): 这个角色提供对系统指令和用户提示输入的响应。在对话中，助理角色是向用户提供帮助、回答问题或执行任务的角色。
User (用户): 这个角色提供聊天完成所需的输入。在对话中，用户角色代表与系统交互的实际人类用户，他们提出问题或请求信息。
Tool (工具): 这个角色提供聊天完成所需的额外信息和参考资料。在对话中，工具角色可能是提供支持功能、数据查询或其他辅助性任务的角色。
下面是一个聊天的场景，通过system来设置一个角色和他的特点，然后让user输入，assistant来回复。

using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.ChatCompletion;
using System.Runtime.CompilerServices;
using System.Text;


var chatModelId = "gpt-4o";
var geminiModelId = "gemini-1.5-flash-latest";
var geminiKey = File.ReadAllText(@"C:\GPT\gemini.txt");
var key = File.ReadAllText(@"C:\GPT\key.txt");
#pragma warning disable SKEXP0070
var kernel = Kernel.CreateBuilder()
   .AddOpenAIChatCompletion(chatModelId, key)
   //.AddGoogleAIGeminiChatCompletion(geminiModelId, geminiKey)
   .Build();


var chatHistory = new ChatHistory(systemMessage: "你是一位.net高级讲师，回答问题言简意赅。");
var chat = kernel.GetRequiredService<IChatCompletionService>();


var settings = new PromptExecutionSettings
{
    ExtensionData = new Dictionary<string, object>
    {
        ["max_tokens"] = 1000,
        ["temperature"] = 0.2,
        ["top_p"] = 0.8,
        ["presence_penalty"] = 0.0,
        ["frequency_penalty"] = 0.0
    }
};
while (true)
{
    //提问
    Console.ResetColor();
    Console.WriteLine("----------学生提问：----------");
    chatHistory.AddUserMessage(Console.ReadLine());
    Console.WriteLine();
    //回答
    var reply = await chat.GetChatMessageContentAsync(chatHistory, settings);
    Console.ForegroundColor = ConsoleColor.Green;
    Console.WriteLine("==========讲师回答：==========");
    Console.WriteLine(reply.Content);
    chatHistory.AddMessage(reply.Role, reply.Content);
    Console.WriteLine();
}

上面的回复如果内容多，需要等待，下面是流式响应，增加用户体验，流式与否与回复的内容无关。

Console.ForegroundColor = ConsoleColor.Green;
Console.WriteLine("==========讲师回答：==========");
AuthorRole? role = AuthorRole.Assistant;
var contentBuilder = new StringBuilder();
await foreach (var reply in chat.GetStreamingChatMessageContentsAsync(chatHistory, settings))
{
    if (reply.Role.HasValue && role != reply.Role)
    {
        role = reply.Role;
    }
    Console.Write(reply.Content);
    contentBuilder.Append(reply.Content);
}
chatHistory.AddMessage(role.Value, contentBuilder.ToString());
Console.WriteLine();

下面是两问两答，第二个问答，明显能看到GPT的“聪明”之处理，能理解下下文。

另外，在前面我们说过，同一类服务支持不同的LLM，上例中分别是GPT和Gemini，用Kernel好处就是可以注入不同的LLM服务，当一个服务有问题，或收费政策发生变化时，可以灵活切换。

下面是两种LLM的效果（这里不作比较）。