Mistral Common 开源项目教程

Mistral Common 开源项目教程

mistral-common 项目地址: https://gitcode.com/gh_mirrors/mi/mistral-common

项目介绍

Mistral Common 是由 Mistral AI 开源的一套工具集，旨在帮助开发者更方便地使用 Mistral 系列大语言模型。该工具集不仅提供了常规的文本分词功能，还增加了工具解析和结构化对话等高级特性，为开发者提供了更多灵活性和可能性。

项目快速启动

安装

你可以通过 pip 直接安装 Mistral Common：

pip install mistral-common

如果你希望从源代码安装，可以使用 poetry 作为依赖和虚拟环境管理工具：

pip install poetry
poetry install

使用示例

以下是一个使用 Mistral Common 进行分词的简单示例：

from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
from mistral_common.protocol.instruct.tool_calls import Function, Tool
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer

# 加载 Mistral 分词器
model_name = "open-mixtral-8x22b"
tokenizer = MistralTokenizer.from_model(model_name)

# 对一系列消息进行分词
tokenized = tokenizer.encode_chat_completion(
    ChatCompletionRequest(
        tools=[
            Tool(
                function=Function(
                    name="get_current_weather",
                    description="Get the current weather",
                    parameters=[
                        {
                            "type": "object",
                            "properties": {
                                "location": {
                                    "type": "string",
                                    "description": "The city and state, e.g., San Francisco, CA"
                                },
                                "format": {
                                    "type": "string",
                                    "enum": ["celsius", "fahrenheit"],
                                    "description": "The temperature unit to use. Infer this from the users location."
                                }
                            },
                            "required": ["location", "format"]
                        }
                    ]
                )
            )
        ],
        messages=[
            UserMessage(content="What's the weather like today in Paris")
        ],
        model=model_name
    )
)

tokens, text = tokenized.tokens, tokenized.text

# 输出 token 数量
print(len(tokens))

应用案例和最佳实践

应用案例

Mistral Common 可以用于开发基于 Mistral 模型的复杂应用，例如：

• 智能客服系统：通过结构化对话和工具解析功能，实现更智能的客服对话。
• 文本分析工具：利用分词器对大量文本进行处理，提取关键信息。

最佳实践

• 版本管理：根据项目需求选择合适的分词器版本，确保兼容性和性能。
• 性能优化：在处理大量数据时，合理使用分词器的高级功能，避免性能瓶颈。

典型生态项目

• Mistral AI API：Mistral Common 集成了 API 中使用的验证和规范化代码，确保开发者可以按照官方标准处理输入数据。
• Nemo 12B 2407 模型：Mistral Common 的 v3 (Tekken) 版本专门用于支持 Nemo 12B 2407 模型。

通过以上内容，你可以快速上手并深入了解 Mistral Common 开源项目。

mistral-common 项目地址: https://gitcode.com/gh_mirrors/mi/mistral-common