如何本地化部署大模型

为何要本地化部署大模型？

因为私有化部署可以解决以下问题：

        1.数据安全和隐私保护，你不必担心自己的信息会被拿去训练，不用担心泄漏

        2.降低成本，本地化部署后减少了对外部的依赖，降低运营成本。特别是在处理大规模数据和高频次请求时，本地化部署可以避免昂贵的云服务费用。

        3.更稳定可靠，本地化部署可以减少对互联网连接的依赖，提高系统的稳定性和可靠性。在断网或云服务不可用的情况下，本地系统仍能正常工作。

        4.更高的响应速度性能更好，本地化部署可以减少因网络延迟带来的影响，特别是在处理大量数据或需要实时响应的应用场景中，本地部署可以提供更快的处理速度和更好的用户体验。

        5.合规性审查，这是最重要的。对于需要符合特定行业规范和政府审查要求的企业，本地化部署可以更方便地接受监管机构的审查，确保业务合规

Ollama

在开始教程之前先看看今天会用的的工具 Ollama------一个简单易用的本地大模型运行框架。

有了 ta, 私有化部署就几分钟的事情。

一般跑大模型我们很少有本地电脑，因为对配置要求有点高，还要有显卡，我的电脑是渣渣连olo都跑不了的，所以就直接用阿里云来跑模型了。小伙伴想玩也可以尝试买个一周的云服务器玩玩。

官网有介绍其他的安装方式，本文就以 Linux 的安装往下走。

安装

Liunx用户直接运行以下命令安装。

curl https://ollama.ai/install.sh | sh

安装会花费点时间，耐心等待就好

下载模型文件

模型列表：library (ollama.com) 可以根据自己的需求下载相应的模型文件

ollama pull llama2-chinese

模型文件比较大，耐心等待

运行

ollama run llama2-chinese "菊花为什么是红色的？"

run 命令运行模型，直接将消息附在命令后。

对外暴露端口 11434

修改阿里云服务安全组，将端口 11434 进行暴露

然后访问你的阿里云服务器ip http://yourip:11434 返回 Ollama is running 就ok了

如何调用

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',

    # required but ignored
    api_key='ollama',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': '天空为什么是蓝色的？',
        }
    ],
    model='llama3',
)

print(response.choices[0].message.content)