【AI提升】AI利器Tool Call/Function Call(一):langchain+ollama+llama3/qwen2

1、使用AI的一个常用场景就是，接收人类的语言，识别人类的意图，最终进行相关的业务处理，这就是设计Tool Call / Function Call的初衷。 

2、现在一般都说Tool Call，以前常叫Function Call，不要纠结。

一、安装环境

1.1 安装ollama

参考：【AI基础】大模型部署工具之ollama的安装部署-第一步:下载安装ollama

1.2 部署大模型

参考：【AI基础】大模型部署工具之ollama的安装部署-第二步:部署安装大模型

如果使用llama3: 

> ollama pull llama3

如果使用qwen2:

> ollama pull qwen2

1.3 安装langchain

> pip install -q langchain_experimental

• -q 静默安装，避免输出大量提示信息。

二、示例

这里以调用天气信息为例，毕竟，大家都用的这个例子。

1、使用Tool Call / Function Call的大致流程，先声明几个（1个或N个）业务函数，然后把它们绑定到大模型上，当与大模型交互时，大模型会识别是正常的交互还是需要业务调用，如果有业务调用，则返回识别出来的业务函数相关信息（函数名，参数列表），这样我们就可以调用业务函数进行处理，具体的过程在下面的代码中体现。

2、这里要注意，大模型只做识别，具体的业务函数是我们自己调用的。

2.1 新建python文件

假设文件存放 examples/dev_fc.py，当然也可以用jyputerlab来一步一步运行（请参考：【AI基础】大模型部署工具之ollama的安装部署 - 通过jupyterlab来运行）。

# 引入langchain中的function call
from langchain_experimental.llms.ollama_functions import OllamaFunctions

# 第一步：从ollama的接口获取大模型
# 1.1 如果使用大模型llama3
# model = OllamaFunctions(model='llama3', base_url='http://localhost:11434', format='json')
# 1.2 如果使用大模型qwen2
model = OllamaFunctions(model='qwen2', base_url='http://localhost:11434', format='json')

# 第二步：定义业务处理函数
# 2.1 具体的业务处理函数，可以多个
def get_current_weather(city):
    print('getting weather')
    if 'beijing' in city.lower():
        return 'good'
    elif 'paris' in city.lower():
        return 'not so good'
    else:
        return 'what?'


# 2.2 业务处理函数映射，方便后续调用
fn_map = {
    'get_current_weather': get_current_weather
}

# 第三步：通过业务处理函数描述，把业务函数绑定到大模型上
llm_with_tool = model.bind_tools(
    tools=[
        {
            'name': 'get_current_weather',
            'description': 'Get the current weather in a given location',
            'parameters': {
                'type': 'object',
                'properties': {
                    'city': {
                        'type': 'string',
                        'description': 'The city and state, e.g. San Francisco, CA',
                    }
                },
                'required': ['city'],
            },
        },
    ]
)


# 第四步：大模型处理输入并确定需要调用的业务函数，并实际调用业务函数
def chat_handler(chat_str):
    print("====================")
    print(f"user: {chat_str}")
    print("--------------------")
    ai_msg = llm_with_tool.invoke(chat_str)

    if ai_msg.tool_calls:
        fn_name = ai_msg.tool_calls[0]['name']
        fn_param = ai_msg.tool_calls[0]['args']
        print("ai:......")
        print(f"调用函数:{fn_name},参数:{fn_param}")
        res = fn_map[fn_name](**fn_param)
        print(f"函数返回值:{res}")
    else:
        print(ai_msg.content)
    return


# 第五步：演示
# 5.1 演示查询三个地区的天气情况
chat_handler('how is the weather in Beijing today')
chat_handler('how is the weather in Paris today')
chat_handler('how is the weather in Singapore today')

# 5.2 演示一个正常的聊天交互
chat_handler('who are you')

这里注意看第一步获取大模型，

如果是llama3:

model = OllamaFunctions(model='llama3', base_url='http://localhost:11434', format='json')

如果是qwen2:

model = OllamaFunctions(model='qwen2', base_url='http://localhost:11434', format='json')

 2.2 运行python文件

运行命令“ python examples/dev_fc.py ”：

从上图可以看出，第1，2，3个交互，AI识别出了业务回调并执行了正确的业务函数，第4个没有获取到相关信息，直接返回正常交互回应。