在SK中内置了一些服务,这些服务可以让我们的应用,简单的实例化调用,便拥有AI能力。
以OpenAI为例,SK中内置的OpenAI服务有:
内容生成服务:OpenAITextGenerationService
聊天服务:OpenAIChatCompletionService
文本转图片服务:OpenAITextToImageService
声音转文本服务:OpenAIAudioToTextService
文本转声音服务:OpenAITextToAudioService
文本嵌入向量服务:OpenAITextEmbeddingGenerationService
这些服务可以直接实例化使用,也可以配合Kernel使用。下面是一个TextGeneration服务使用方式,TextGeration只支持modelid为gpt-3.5-turbo-instruct的模型,具体实现如下:
using Microsoft.Extensions.Logging;
using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.ChatCompletion;
using Microsoft.SemanticKernel.Connectors.OpenAI;
using System.Text.Json;
var chatModelId = "gpt-3.5-turbo-instruct";
var key = File.ReadAllText(@"C:\GPT\key.txt");
var settings = new PromptExecutionSettings
{
ExtensionData = new Dictionary<string, object>
{
["max_tokens"] = 1000,
["temperature"] = 0.2,
["top_p"] = 0.8,
["presence_penalty"] = 0.0,
["frequency_penalty"] = 0.0
}
};
Console.WriteLine("---------------非流式---------------");
var textGenerationService = new OpenAITextGenerationService(chatModelId, key);
var textContents = await textGenerationService.GetTextContentsAsync("用50个字描述一下.NET", settings);
foreach (var textContent in textContents)
{
var usage = textContent?.Metadata?["Usage"] as Azure.AI.OpenAI.CompletionsUsage;
if (usage != null)
{
var tokenStr = @$"====================Tokens==================
提示词Tokens数:{usage.PromptTokens}
返回内容Tokens数:{usage.CompletionTokens}
总Tokens数:{usage.TotalTokens}
===========================================";
Console.WriteLine(tokenStr);
}
Console.WriteLine(textContent.Text);
}
Console.WriteLine("---------------流式---------------");
var streamTextContents = textGenerationService.GetStreamingTextContentsAsync("用50个字描述一下C#");
await foreach (var textContent in streamTextContents)
{
Console.Write(textContent.Text);
}
上面举了两种实现方式,阻塞式,一次性返回结果,流式,时时返回结果。
下面这些参数是用来精细控制OpenAI GPT模型在文本生成过程中的行为的:
max_tokens:这个参数定义了模型输出的最大词数(或者说是token数)。Token不仅仅是单词,还包括标点符号和空格等。这个限制帮助控制生成内容的长度。
temperature:这个参数用于控制输出的随机性或者创造性。温度值在0到1之间,较低的温度(如0.2或0.3)会让模型的输出更加可预测和稳定,而较高的温度(如0.8或1)会增加输出的随机性和多样性,但也可能导致文本的连贯性和相关性下降。
top_p (Nucleus Sampling):这个参数控制模型在选择下一个词时考虑的范围。例如,如果top_p设置为0.9,模型将只从概率累积到90%的那部分词中选择下一个词。这通常有助于保持文本的相关性同时还能保持一定的创意自由。
presence_penalty 和 frequency_penalty:这两个参数用于增加输出的多样性和降低重复性。presence_penalty增加了已出现过的词再次出现的代价,有助于避免重复同一主题或词汇。frequency_penalty类似,但它是基于词出现的频率来增加代价,频繁出现的词在后续生成中被选中的概率将降低。
这些参数的组合可以帮助调整生成文本的风格和质量,以适应不同的应用场景和需求。
关于其他服务,我们在后续的文章中使用说明。