如何在局域网中调用服务器的大模型呢？

记录一下大模型的相关部署过程

步骤非常简单可靠：

我是使用ollama进行服务器端的部署。服务器端的系统版本是ubuntu18.04。

服务器无法直接下载ollama

直接用官方的方式先下载脚本，再运行那个脚本的方法下载ollama的时候，遇到了下载速度慢，进度卡住了超时等困难。

尽管我搜到了国内如何下载ollama的一些方法，例如修改下载脚本等。但是我觉得这些方法的实操难度有点高。

经过我的搜索之下，我发现snap软件库中居然有ollama的软件包。所以就直接使用snap下载ollama。

参考链接：用snap下载ollama

可以直接使用ollama下载对应的模型

不过呢，这个ollama的版本不是很高的缘故，所以llama3.1下载了也不能使用，但是可以使用llama3。

构造局域网

这一步我是直接使用一个路由器，让客户端和服务器共同连在同一个wifi下面，这样他们之间就能相连了。

客户端电脑和服务端电脑能否互连可以尝试相互Ping一下对方的IP地址

服务器开放api

使用非常简单的Fastapi库，可以实现简单的api的请求

使用langchain快速构造大语言模型的Pipeline以及连接ollama server 

如有更多问题，可以在评论留下。