模型社区
HuggingFace
官网:https://huggingface.co/
HuggingFace 是一个自然语言处理(NLP)领域的开源社区和平台,它提供了一系列强大的工具、库和预训练模型,帮助开发者快速构建和部署自然语言处理应用。HuggingFace 平台的主要组成部分和特点如下:
1. Transformers 库:HuggingFace 的 Transformers 库是其最著名和核心的部分。它提供了广泛的预训练模型(如BERT、GPT、RoBERTa等)的实现,并提供易于使用的API,用于进行文本分类、命名实体识别、文本生成等各种 NLP 任务。Transformers 库支持多种主流深度学习框架,如PyTorch和TensorFlow。
2. 模型架构和优化方法:HuggingFace 提供了各种用于构建和优化 NLP 模型的架构和方法,包括用于序列分类、序列标注、文本生成等任务的模型架构和损失函数,以及用于模型训练和优化的技术,如学习率调度、权重衰减等。
3. 数据集和指标:HuggingFace 提供了大量的 NLP 数据集,用于训练和评估模型。这些数据集涵盖了各种不同的任务和语言,包括文本分类、命名实体识别、情感分析等。此外,HuggingFace 还提供了常用的评估指标和评估方法,帮助用户对模型性能进行评估和比较。
4. 模型训练和部署工具:HuggingFace 提供了用于模型训练和部署的工具和库,使用户能够轻松地进行模型训练、微调和部署。例如,通过使用 HuggingFace 的 Trainer 类,用户可以更便捷地配置和执行模型的训练过程。
5. 模型分享和社区:HuggingFace 平台鼓励用户分享和交流模型、代码和经验。用户可以在 HuggingFace 的模型仓库中发布和共享自己的模型,并从社区中获取模型、代码和应用案例。
ModelScope
官网:https://www.modelscope.cn
魔搭社区ModelScope是一个由阿里达摩院推出的开源模型服务平台,其主要功能和目的如下:
1. 模型共享与探索: ModelScope汇集了各领域最先进的机器学习模型,包括但不限于自然语言处理、计算机视觉、语音识别等。用户可以在平台上发现和探索这些模型,了解其特性和性能。
2. 一站式服务: 提供从模型探索、推理、训练到部署和应用的一站式服务。用户不仅可以体验预训练模型的性能,还可以根据自己的需求对模型进行定制和训练,并方便地将训练好的模型部署到实际应用中。
3. 易用性和灵活性: ModelScope旨在为泛AI开发者提供灵活、易用、低成本的模型服务产品。用户无需额外部署复杂的环境,就可以在平台上直接使用各种模型,降低了使用和开发AI模型的门槛。
4. 开源与合作: 作为一款开源平台,ModelScope鼓励社区成员参与模型的开发、改进和分享。通过共同合作,推动AI技术的发展和创新。
5. 智能体开发框架: ModelScope还推出了ModelScope-Agent开发框架,如MSAgent-Qwen-7B,允许用户打造属于自己的智能体。这个框架提供了丰富的环境配置选项,支持单卡运行,并有一定的显存要求。
本地模型部署
LMStudio
LM Studio 是一个桌面应用程序,允许本地运行大型语言模型(LLMs)
LM Studio支持的是guff格式的模型,这类模型经过重新编译打包,整体尺寸更小,文件合一,非常适合移动和存储,尤其适合在迷你主机上运行。
官网:https://lmstudio.ai/
https://lmstudio.ai/rocm (AMD平台的GPU使用这个地址下载)
硬件需求:
```
Apple Silicon Mac (M1/M2/M3) with macOS 13.6 or newer
Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)
16GB+ of RAM is recommended. For PCs, 6GB+ of VRAM is recommended
NVIDIA/AMD GPUs supported
```
部署本地模型
LMStudio下载
在LMStudio中,点击左侧菜单栏的模型管理,点击右上角的下载模型,选择模型社区,搜索qwen1_5-7b-chat-q8_0.gguf,下载完成后,将文件放在models文件夹下。
从模型社区下载
可以在HuggingFace模型社区下载模型,例如qwen1_5-7b-chat-q8_0.gguf,也可以在魔搭社区下载模型,例如qwen1_5-7b-chat-q8_0.gguf。
需要下载的是gguf格式的模型文件,下载完成后,将文件放在models文件夹下。models文件夹下面必须有两级路径,即手动新建两个文件夹,例如E:D://models/qwen/qwen1_5-7b-chat-q8_0.gguf,否则无法识别)。
访问本地模型
使用openai API
pip install openai
# Example: reuse your existing OpenAI setup
from openai import OpenAI
# Point to the local server
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
completion = client.chat.completions.create(
model="Qwen/Qwen1.5-0.5B-Chat-GGUF",
messages=[
{"role": "user", "content": "你是谁"}
]
)
print(completion.choices[0].message)
使用Langchain
from langchain_community.llms.openai import OpenAI
# 创建一个OpenAI集成对象,用于与OpenAI模型交互
llm = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
llm.invoke("讲一个50字以内的笑话")