AI菜鸟向前飞 — 本地部署大语言模型之Ollama（保姆级指北）

开场白

    我用得很节省。。。不过我的OpenAI Key马上过期了 ：(

动手本地部署Ollama

    这里教大家如何在本地部署Ollama大语言模型，强烈建议大家使用Docker方式启动，这样你随时可，因为我听说Ollama的守护进程会一直占用你的机器资源

    闲言少叙，Docker运行环境所用的工具，强烈安利OrbStack...

    因为...OrbStack更快、更好

Ollama（Docker Hub）

https://hub.docker.com/r/ollama/ollama

在命令行窗口执行命令

docker pull ollama/ollama

效果如下：

回到我们的OrbStack应用里就会存在一个镜像，就是它了（Unused） !

接下来在命令行窗口 继续执行如下命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

效果如下：

回到我们的OrbStack，看ollama已经成功启动

下载Llama3（目前最新的大语言模型） 顺便介绍下Llama3的性能情况

言归正传，安装Llama3 Model的命令如下：

• 1

docker exec -it ollama ollama run llama3

效果如下：

用命令行小试模型

这样Llama 3 本地大语言模型就安装好了：）

使用LangChain调用Ollama

我们用LangChain调用它测试一下～

Ollama方式

程序

from langchain_community.llms.ollama import Ollama llm = Ollama(model="llama3",temperature=0) res = llm.invoke("你是一名软件工程专家，请您回答一下什么是软件测试？请用中文回答。") print(res)

输出结果

😊 软件测试（Software Testing）是指对软件系统或组件进行的一系列检查和验证，以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致，从而提高软件的质量和可靠性。 软件测试可以分为多种类型，包括： 1. 单元测试（Unit Testing）：对单个模块或函数进行测试。 2. 集成测试（Integration Testing）：对多个模块或组件之间的交互关系进行测试。 3. 系统测试（System Testing）：对整个软件系统或应用程序进行测试。 4. Acceptance Testing：对软件是否满足用户需求和期望进行测试。 5. Regression Testing：对软件中的更改或修改进行回归测试，以确保没有引入新的错误。 软件测试的目的是： 1. 发现错误和缺陷，提高软件的可靠性和质量。 2. 验证软件是否满足用户需求和期望。 3. 确保软件在不同环境和条件下能够正确运行。 4. 提高软件的稳定性和可维护性。 总之，软件测试是软件开发过程中的一个重要环节，可以帮助开发者发现错误、提高软件质量和可靠性。

ChatOllama方式

程序

from langchain.chat_models.ollama import ChatOllama chat = ChatOllama(model="llama3",temperature=0) res = chat.invoke("你是一名软件工程专家，请您回答一下什么是软件测试？请用中文回答。") print(res)

输出结果

content='😊\n\n软件测试（Software Testing）是指对软件系统或组件进行的一系列检查和验证，以确保其满足需求、正确运行、可靠性和性能等方面的要求。测试旨在发现软件中的错误、缺陷和不一致，从而提高软件的质量和可靠性。\n\n软件测试可以分为多种类型，包括：\n\n1. 单元测试（Unit Testing）：对单个模块或函数进行测试。\n2. 集成测试（Integration Testing）：对多个模块或组件之间的交互关系进行测试。\n3. 系统测试（System Testing）：对整个软件系统或应用程序进行测试。\n4. Acceptance Testing：对软件是否满足用户需求和期望进行测试。\n5. Regression Testing：对软件中的更改或修改进行回归测试，以确保没有引入新的错误。\n\n软件测试的目的是：\n\n1. 发现错误和缺陷，提高软件的可靠性和质量。\n2. 验证软件是否满足用户需求和期望。\n3. 确保软件在不同环境和条件下能够正确运行。\n4. 提高软件的稳定性和可维护性。\n\n总之，软件测试是软件开发过程中的一个重要环节，可以帮助开发者发现错误、提高软件质量和可靠性。' response_metadata={'model': 'llama3', 'created_at': '2024-04-22T17:41:44.901209344Z', 'message': {'role': 'assistant', 'content': ''}, 'done': True, 'total_duration': 22143976927, 'load_duration': 927935, 'prompt_eval_duration': 112404000, 'eval_count': 289, 'eval_duration': 21899433000} id='run-a2fa9ccb-77aa-470e-956b-f50dfdd679d7-0'

今天先到这里～