[C#]基于C# winform结合llamasharp部署llama3中文的gguf模型

【llmasharp源码】

https://github.com/SciSharp/LLamaSharp

【测试模型】

https://www.modelscope.cn/pooka74/LLaMA3-8B-Chat-Chinese-GGUF.git

【测试通过环境】

vs2019

netframework4.7.2

llamasharp==0.15.0

cuda11.7.1+cudnn8.8.0

注意测试发现使用cpu推理非常卡，因此建议配置有个nvidia显卡电脑进行测试，要求显存>=6GB，我电脑是RTX2070 8GB显存

【界面演示】

 

【部分实现源码】

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using FIRC;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        LLamaInfer infer = null;
        public Form1()
        {
            InitializeComponent();
        }


        

        private void Form1_Load(object sender, EventArgs e)
        {
          //模型在https://www.modelscope.cn/pooka74/LLaMA3-8B-Chat-Chinese-GGUF.git下载
           infer= new LLamaInfer(@"H:\llama3-8b-chat-chinese-gguf\LLaMA3-8B-Chat-Chinese-Q4_K_M.gguf");
            infer.CallBack += Infer_CallBack;
        }

        private void Infer_CallBack(string msg)
        {
            tb_output.AppendText(msg);
        }

        private void btn_input_Click(object sender, EventArgs e)
        {
            if(string.IsNullOrEmpty(tb_input.Text))
            {
                return;
            }
            infer.GetResult(tb_input.Text);
        }

        private void button1_Click(object sender, EventArgs e)
        {
            tb_output.Clear();
        }
    }
}

【源码下载地址】