Ollama 现在支持使用 Llama 3.1 及其他模型进行工具调用

Ollama 现在支持使用热门模型进行工具调用，例如 Meta 的 Llama 3.1 及其他许多模型。

这使得模型可以使用它们知道的工具来回答给定的提示，使得模型能够执行更复杂的任务或与外部世界进行互动。

示例工具包括：

• Functions and APIs
• Web browsing
• Code interpreter
• and more!

工具调用

为了让模型调用工具，你可以通过 Ollama 的 API 在 tools 字段中提供可用工具的列表。

import ollama


response = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'What is the weather in Toronto?'}],


    # provide a weather checking tool to the model
    tools=[{
      'type': 'function',
      'function': {
        'name': 'get_current_weather',
        'description': 'Get the current weather for a city',
        'parameters': {
          'type': 'object',
          'properties': {
            'city': {
              'type': 'string',
              'description': 'The name of the city',
            },
          },
          'required': ['city'],
        },
      },
    },
  ],
)


print(response['message']['tool_calls'])

支持的模型现在将在 API 中通过 tool_calls 响应进行回答。

工具响应可以通过具有工具角色的消息提供。

有关更多信息，请参阅API 文档。

支持的模型

支持的模型列表可以在模型页面的工具类别下找到：

• Llama 3.1
• Mistral Nemo
• Firefunction v2
• Command-R +
• and many more

请运行 ollama pull <model> 来检查你是否拥有最新的模型。

OpenAI 兼容性

Ollama 的 OpenAI 兼容端点现在也支持工具，使得可以切换使用 Llama 3.1 及其他模型。

import openai

openai.base_url = "http://localhost:11434/v1"
openai.api_key = 'ollama'

response = openai.chat.completions.create(
  model="llama3.1",
  messages=messages,
  tools=tools
 )

未来改进

• 流式工具调用：在返回多个工具时，流式工具调用可以更快地开始采取行动。

• 工具选择：强制模型使用某个工具。

最新版本的 Ollama 是 0.3。

---

最后

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！

一、大模型全套的学习路线

L1级别：AI大模型时代的华丽登场
L2级别：AI大模型API应用开发工程
L3级别：大模型应用架构进阶实践
L4级别：大模型微调与私有化部署

达到L4级别也就意味着你具备了在大多数技术岗位上胜任的能力，想要达到顶尖水平，可能还需要更多的专业技能和实战经验。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人在大模型时代，需要不断提升自己的技术和认知水平，同时还需要具备责任感和伦理意识，为人工智能的健康发展贡献力量。

有需要全套的AI大模型学习资源的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除。