从0开始搭建免费大模型平台-CSDN博客

下面我们讲解从0开始搭建我们的免费大模型管理平台，接入其他的免费大模型，然后加入到我们自己的平台当中，然后进行监控和管理。

部署大模型管理平台

下面我们将在拥有docker的环境下部署我们的大模型管理平台。

打开我们的服务器。

然后执行

docker run -d -p 18080:8080 --name ai-dotnet-api-service -v $PWD/data:/data -e TZ=Asia/Shanghai -e DBType=sqlite -e ConnectionString="data source=/data/token.db" -e Theme=lobe -e LoggerConnectionString="data source=/data/logger.db" registry.token-ai.cn/ai-dotnet-api-service

然后他会在当前目录下生成data目录，这个目录就是默认数据库sqlite的数据持久化目录。

使用默认密码登录到系统当中

账号：admin 密码：admin

注册腾讯大模型

点击这里^[1] 进混元大模型，然后登录，

然后接入控制台腾讯云 - 控制台 (tencent.com)^[2]

然后点击创建密钥，创建完成以后得到密钥，

添加模型渠道

下面我们打开大模型管理平台，然后进入渠道菜单，然后点击右上角的操作展开的创建渠道

渠道名称 测试模型
渠道类型腾讯混元大模型
代理地址空
资源地域（看个人情况定）
密钥格式 SecretId|SecretKey，请注意密钥格式中间有一个|
模型填写hunyuan-lite，因为腾讯目前只有这个大模型是免费使用的。

然后点击提交。

我们可以尝试点击这个未测试测试渠道是否可用，测试完成以后会更新延迟（这个延迟其实就是发送一个对话给AI然后AI实际响应的时间）。

根据上面的测试，我们给我们的平台接入了腾讯大模型的免费模型hunyuan-lite

然后我们试试看用semantic-kernel进行对话操作。

给`semantic-kernel`接入免费的大模型

创建一个ConsoleApp1控制台项目

打开ConsoleApp1.csproj文件

<Project Sdk="Microsoft.NET.Sdk">

    <PropertyGroup>
        <OutputType>Exe</OutputType>
        <TargetFramework>net8.0</TargetFramework>
        <ImplicitUsings>enable</ImplicitUsings>
        <Nullable>enable</Nullable>
    </PropertyGroup>

    <ItemGroup>
      <PackageReference Include="Microsoft.SemanticKernel" Version="1.14.1" />
    </ItemGroup>

</Project>

我们添加了Microsoft.SemanticKernel依赖，然后进入我们的下一步。

由于SK内部的OpenAI方法的端点是内置的，所以我们需要使用HttpClientHandler去修改端点。

创建OpenAIHttpClientHandler.cs

namespace ConsoleApp1;

public class OpenAIHttpClientHandler(string uri) : HttpClientHandler
{
    private readonly string _uri = uri.TrimEnd('/');

    protected override async Task<HttpResponseMessage> SendAsync(HttpRequestMessage request,
        CancellationToken cancellationToken)
    {
        // 替换https://api.openai.com/为 _uri
        request.RequestUri =
            new Uri(request.RequestUri?.ToString().Replace("https://api.openai.com/", _uri + "/"));

        return await base.SendAsync(request, cancellationToken);
    }
}

打开大模型管理平台的令牌菜单，然后点击查看，然后复制弹窗的key。

然后打开Program.cs

using ConsoleApp1;
using Microsoft.SemanticKernel;

var kernel = Kernel.CreateBuilder()
    .AddOpenAIChatCompletion(
        modelId: "hunyuan-lite",
        apiKey: "这里填写在https://api.token-ai.cn/创建的令牌",
        httpClient: new HttpClient(new OpenAIHttpClientHandler("复制您的大模型平台的地址 示例：https://api.token-ai.cn/")))
    .Build();

await foreach (var item in kernel.InvokePromptStreamingAsync("您好，我是TokenAI"))
{
    Console.Write(item.ToString());
};

然后执行项目，然后就得到了回复。并且这是完全免费QPS也有5个。