Semantic Kernel在AI领域的应用越来越广泛。然而,在使用Semantic Kernel时,如果不注意一些细节问题,可能会导致你的模型表现异常,甚至出现“胡说八道”的情况。今天,我将分享一个关于使用Semantic Kernel的小细节,这个问题曾让我一度陷入困惑,幸好最终找到了问题的根源。
问题背景
在我的一个项目中,我遇到了一个奇怪的问题:当我使用OpenAI时,模型表现非常智能,但是一旦切换到本地模型,输出结果就变得非常“弱智”。起初,我怀疑这是模型自身的问题,但通过使用Postman进行调试,发现并非如此。
为了排查问题,我决定从请求报文入手,使用HttpClientHandler进行请求拦截。这一步非常关键,揭示了问题的所在。
抓取请求报文
首先,我们通过如下代码来创建一个OpenAI的HttpClientHandler,用以拦截和修改请求:
var handler = new OpenAIHttpClientHandler();
services.AddTransient<Kernel>((serviceProvider) =>
{
if (_kernel == null)
{
_kernel = Kernel.CreateBuilder()
.AddOpenAIChatCompletion(
modelId: OpenAIOption.ChatModel,
apiKey: OpenAIOption.Key,
httpClient: new HttpClient(handler)
)
.Build();
}
return _kernel;
});
然后,通过自定义的OpenAIHttpClientHandler
来拦截和修改请求内容。代码如下:
public class OpenAIHttpClientHandler : HttpClientHandler
{
private string _endPoint { get; set; }
public OpenAIHttpClientHandler(string endPoint)
{
this._endPoint = endPoint;
}
protected override async Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, CancellationToken cancellationToken)
{
UriBuilder uriBuilder;
Regex regex = new Regex(@"(https?)://([^/:]+)(:\d+)?/(.*)");
Match match = regex.Match(_endPoint);
if (Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT") == "D