部署并访问本地模型

模型社区

HuggingFace

官网：https://huggingface.co/

HuggingFace 是一个自然语言处理（NLP）领域的开源社区和平台，它提供了一系列强大的工具、库和预训练模型，帮助开发者快速构建和部署自然语言处理应用。HuggingFace 平台的主要组成部分和特点如下：

1. Transformers 库：HuggingFace 的 Transformers 库是其最著名和核心的部分。它提供了广泛的预训练模型（如BERT、GPT、RoBERTa等）的实现，并提供易于使用的API，用于进行文本分类、命名实体识别、文本生成等各种 NLP 任务。Transformers 库支持多种主流深度学习框架，如PyTorch和TensorFlow。
2. 模型架构和优化方法：HuggingFace 提供了各种用于构建和优化 NLP 模型的架构和方法，包括用于序列分类、序列标注、文本生成等任务的模型架构和损失函数，以及用于模型训练和优化的技术，如学习率调度、权重衰减等。
3. 数据集和指标：HuggingFace 提供了大量的 NLP 数据集，用于训练和评估模型。这些数据集涵盖了各种不同的任务和语言，包括文本分类、命名实体识别、情感分析等。此外，HuggingFace 还提供了常用的评估指标和评估方法，帮助用户对模型性能进行评估和比较。
4. 模型训练和部署工具：HuggingFace 提供了用于模型训练和部署的工具和库，使用户能够轻松地进行模型训练、微调和部署。例如，通过使用 HuggingFace 的 Trainer 类，用户可以更便捷地配置和执行模型的训练过程。
5. 模型分享和社区：HuggingFace 平台鼓励用户分享和交流模型、代码和经验。用户可以在 HuggingFace 的模型仓库中发布和共享自己的模型，并从社区中获取模型、代码和应用案例。

ModelScope

官网：https://www.modelscope.cn

魔搭社区ModelScope是一个由阿里达摩院推出的开源模型服务平台，其主要功能和目的如下：

1. 模型共享与探索： ModelScope汇集了各领域最先进的机器学习模型，包括但不限于自然语言处理、计算机视觉、语音识别等。用户可以在平台上发现和探索这些模型，了解其特性和性能。
2. 一站式服务： 提供从模型探索、推理、训练到部署和应用的一站式服务。用户不仅可以体验预训练模型的性能，还可以根据自己的需求对模型进行定制和训练，并方便地将训练好的模型部署到实际应用中。
3. 易用性和灵活性： ModelScope旨在为泛AI开发者提供灵活、易用、低成本的模型服务产品。用户无需额外部署复杂的环境，就可以在平台上直接使用各种模型，降低了使用和开发AI模型的门槛。
4. 开源与合作： 作为一款开源平台，ModelScope鼓励社区成员参与模型的开发、改进和分享。通过共同合作，推动AI技术的发展和创新。
5. 智能体开发框架： ModelScope还推出了ModelScope-Agent开发框架，如MSAgent-Qwen-7B，允许用户打造属于自己的智能体。这个框架提供了丰富的环境配置选项，支持单卡运行，并有一定的显存要求。

本地模型部署

LMStudio

LM Studio 是一个桌面应用程序，允许本地运行大型语言模型（LLMs）

LM Studio支持的是guff格式的模型，这类模型经过重新编译打包，整体尺寸更小，文件合一，非常适合移动和存储，尤其适合在迷你主机上运行。

官网：https://lmstudio.ai/

https://lmstudio.ai/rocm （AMD平台的GPU使用这个地址下载）

硬件需求：
```
Apple Silicon Mac (M1/M2/M3) with macOS 13.6 or newer
Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)
16GB+ of RAM is recommended. For PCs, 6GB+ of VRAM is recommended
NVIDIA/AMD GPUs supported
```

 部署本地模型

LMStudio下载

在LMStudio中，点击左侧菜单栏的模型管理，点击右上角的下载模型，选择模型社区，搜索qwen1_5-7b-chat-q8_0.gguf，下载完成后，将文件放在models文件夹下。

从模型社区下载

可以在HuggingFace模型社区下载模型，例如qwen1_5-7b-chat-q8_0.gguf，也可以在魔搭社区下载模型，例如qwen1_5-7b-chat-q8_0.gguf。

需要下载的是gguf格式的模型文件，下载完成后，将文件放在models文件夹下。models文件夹下面必须有两级路径，即手动新建两个文件夹，例如E:D://models/qwen/qwen1_5-7b-chat-q8_0.gguf，否则无法识别）。

访问本地模型

使用openai API

pip install openai

# Example: reuse your existing OpenAI setup
from openai import OpenAI

# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

completion = client.chat.completions.create(
  model="Qwen/Qwen1.5-0.5B-Chat-GGUF",
  messages=[
    {"role": "user", "content": "你是谁"}
  ]
)

print(completion.choices[0].message)

使用Langchain

from langchain_community.llms.openai import OpenAI


# 创建一个OpenAI集成对象，用于与OpenAI模型交互
llm = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")

 
llm.invoke("讲一个50字以内的笑话")