【Dify知识库】（11）：Dify0.4.9改造支持MySQL，成功接入 Yi-6B 做对话，本地使用fastchat启动，占8G显存，可以成功配置LLM和 embedding

1，视频地址

https://www.bilibili.com/video/BV1eQ4y1w7Z9/

【Dify知识库】（9）：使用Docker镜像打补丁方式，解决Dify0.4.7版本，支持MySQL数据库。解决统计查询问题，演示Dify0.4.7版本功能

项目地址：
https://gitee.com/fly-llm/dify-mysql-llm

2，关于是01.AI 的 yi-6b 大模型

https://www.modelscope.cn/models/01ai/Yi-6B-Chat/summary

Yi系列模型是01.AI从零开始训练的开源大型语言模型的下一代。
🙌 目标是成为双语语言模型，并在3T多语料库上进行训练，Yi系列模型成为全球最强大的语言模型之一，在语言理解、常识推理、阅读理解等方面显示出潜力。例如，
在英语能力方面，Yi系列模型排名第2（仅次于GPT-4），在 AlpacaEval 领导者排行榜上超过其他语言模型（如 LLaMA2-chat-70B、Claude 2 和 ChatGPT），时间为2023年12月。
在中文能力方面，Yi系列模型排名第2（仅次于GPT-4），在 SuperCLUE 上超过其他语言模型（如百度的ERNIE、Qwen和百川），时间为2023年10月。
🙏（感谢LLaMA）感谢Transformer和LLaMA开源社区，因为他们减少了从零开始构建的努力，并使AI生态系统的工具利用变得可能。

3，启动成功

最后启动成功：

2024-01-21 01:55:06 | INFO | model_worker | args: Namespace(host='0.0.0.0', port=8001, worker_address='http://fastchat-worker-llm:8001', controller_address='http://fastchat-controller:21001', model_path='/data/models/Yi-6B-Chat', revision='main', device='cuda', gpus=None, num_gpus=1, max_gpu_memory=None, dtype=None, load_8bit=True, cpu_offloading=False, gptq_ckpt=None, gptq_wbits=16, gptq_groupsize=-1, gptq_act_order=False, awq_ckpt=None, awq_wbits=16, awq_groupsize=-1, enable_exllama=False, exllama_max_seq_len=4096, exllama_gpu_split=None, exllama_cache_8bit=False, enable_xft=False, xft_max_seq_len=4096, xft_dtype=None, model_names=['Yi-6B-Chat', 'gpt-3.5-turbo-0613', 'gpt-3.5-turbo', 'gpt-3.5-turbo-instruct', 'gpt-35-turbo'], conv_template=None, embed_in_truncate=False, limit_worker_concurrency=5, stream_interval=2, no_register=False, seed=None, debug=False, ssl=False)
2024-01-21 01:55:06 | INFO | model_worker | Loading the model ['Yi-6B-Chat', 'gpt-3.5-turbo-0613', 'gpt-3.5-turbo', 'gpt-3.5-turbo-instruct', 'gpt-35-turbo'] on worker 2ab5adf1 ...
  0%|          | 0/3 [00:00<?, ?it/s]| 
 33%|███▎      | 1/3 [00:12<00:25, 12.59s/it]

 67%|██████▋   | 2/3 [00:41<00:22, 22.32s/it]
100%|██████████| 3/3 [01:05<00:00, 22.81s/it]
100%|██████████| 3/3 [01:05<00:00, 21.71s/it]
2024-01-21 01:56:12 | ERROR | stderr | 
2024-01-21 01:56:12 | INFO | model_worker | Register to controller
2024-01-21 01:56:12 | ERROR | stderr | INFO:     Started server process [1]
2024-01-21 01:56:12 | ERROR | stderr | INFO:     Waiting for application startup.
2024-01-21 01:56:12 | ERROR | stderr | INFO:     Application startup complete.
2024-01-21 01:56:12 | ERROR | stderr | INFO:     Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit)
2024-01-21 01:56:57 | INFO | model_worker | Send heart beat. Models: ['Yi-6B-Chat', 'gpt-3.5-turbo-0613', 'gpt-3.5-turbo', 'gpt-3.5-turbo-instruct', 'gpt-35-turbo']. Semaphore: None. call_ct: 0. worker_id: 2ab5adf1. 

然后测试接口：

curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json" -d '{
     "model": "gpt-35-turbo",
     "messages": [{"role": "user", "content": "你是谁"}],
     "temperature": 0.7
}'

{"id":"chatcmpl-3qrWYgXoxSZQUraWYzWj6L","object":"chat.completion","created":1705802245,"model":"gpt-35-turbo","choices":[{"index":0,"message":{"role":"assistant","content":"你好！我是零一万物开发的一个人工智能助手，我叫 Yi，我是由零一万物的工程师们一起开发的。我是一个基于 transformers 架构的大语言模型，我拥有广泛的知识和能力，可以回答你的问题，提供信息，帮助你解决问题。如果你有任何需要帮助的事情，我会尽力提供帮助。"},"finish_reason":"stop"}],"usage":{"prompt_tokens":10,"total_tokens":76,"completion_tokens":66}}

4，然后启动 dify 0.4.9 版本，添加 OpenAI-API-compatible 兼容接口

就而可以创建应用配置模型：

embedding 也可以添加成功:

然后就可以对话聊天和配置向量库了。

5，进行对话聊天和向量库的使用

进行对话聊天：

然后就可以配置成功 使用向量索引了。

6，总结

对 Dify 项目进行升级，同时可以通过配置 【 OpenAI-API-compatible】
可以支持聊天模型和 embedding 接口。然后就可以搭建自己的知识库系统了。
速度上yi 6b 稍微慢点，但是回答的问题比较详细。