Cohere 推出 Command R7B 模型：小型高效，可在低端设备运行

在快速发展的人工智能领域，Cohere 公司近日推出了其最新模型 Command R7B，标志着该公司在为企业提供高效解决方案方面又向前迈出了重要一步。作为 R 系列中最小、速度最快的模型，Command R7B 专注于支持快速原型开发和迭代，采用了检索增强生成（RAG）技术，提升了模型的准确性。

Command R7B 具有128K 的上下文长度，能够支持23种语言，这让它在多语言处理和不同领域的应用中展现出强大的能力。Cohere 公司表示，Command R7B 在数学、编码等任务上优于同类模型，包括谷歌的 Gemma、Meta 的 Llama 以及 Mistral 的 Ministral。根据 Cohere 的说法，该模型非常适合需要优化速度、成本和计算资源的开发者和企业。

在过去一年中，Cohere 不断对其模型进行升级和改进，以提升速度和效率。Command R7B 被认为是 R 系列的 “最终” 模型，未来还将向人工智能研究社区发布模型权重。Cohere 强调，Command R7B 在数学、推理、编码和翻译等领域的性能提升显著，使其在 HuggingFace 开放 LLM 排行榜中名列前茅。

此外，Command R7B 在人工智能代理、工具使用和 RAG 方面的表现也非常出色，能够提高模型输出的准确性。Cohere 表示，该模型在企业风险管理、技术支持、客户服务和财务数据处理等对话任务中表现优异，特别是在检索和操作数据信息方面。

Command R7B 可以利用搜索引擎、API 和向量数据库等工具，扩展其功能。Gomez 指出，这证明了该模型在 “真实、多样和动态环境” 中的有效性，并且消除了不必要的调用功能，使其成为构建 “快速且强大” 的 AI 代理的理想选择。该模型的灵活性使得它能够在低端和消费级的 CPU、GPU 和 MacBook 上进行部署，实现设备上的推理。

目前，Command R7B 已经在 Cohere 平台和 HuggingFace 上提供，定价为每百万个输入令牌0.0375美元，输出令牌0.15美元。Gomez 总结道，这是企业寻求成本效益且基于内部文档和数据的模型的理想选择。

代码

# pip install 'git+https://github.com/huggingface/transformers.git'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r7b-12-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the c4ai-command-r7b-12-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids,
    max_new_tokens=100,
    do_sample=True,
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0], skip_special_tokens=True)
print(gen_text)

	Command R7B	Gemma 2 IT 9B	Ministral 8B	Llama 3.1 8B
Average	31.4	28.9	22	28.2
IFEval	77.9	74.4	58.96	78.6
BBH	36.1	42.1	25.82	29.9
MATH hard	26.4	0.2	6.5	19.3
GPQA	7.7	14.8	4.5	2.4
MUSR	11.6	9.74	10.7	8.41
MMLU-Pro	28.5	32	25.5	30.7

博客:https://cohere.com/blog/command-r7b

https://huggingface.co/CohereForAI/c4ai-command-r7b-12-2024