本地化部署LLM

LLM，large language models

前因

在使用一段时间哈工大的ltp分词项目，因为没有Gpu，就没有去跑最新支持GPU的项目包，就想着配个带GPU的服务器。后来在做图形化分析时，发现里ollama——羊驼，一看对硬件要求很低，支持的model不少，关键是size和资源耗费都是负担得起的。那就试试，49.2K的stars，还有 ollama-python库。

安装前

本地安装前，确认macOS 11，内存尽量32G，windows 有预览版。我装的是 Ollama-darwin.zip（macOS）

安装

command line  先用起来

使用是，会自动加载models，是 Llama2，其他支持或要使用的库，可以在

GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.  自己下，暂时没法现支持中文。有大牛能指导下吗？感觉在models里可以设置。

测试

的确需要多轮的chat才能得到比较理想的答案。

下次试试图片的认识和python连接，导出给出的content。