828华为云征文|基于Flexus云服务器X实例体验大模型部署体验测评

🔴大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂

前言

当下，各种大模型层出不穷，先有openai的chatgpt，后有百度文心一言，再就是国内大模型齐头并进的抢先发布。

让普通的开发者不必为不能体验chatgpt而担忧，国内的大模型速度也很快。但是大家目前都是在体验，能不能部署一下试试呢？

今天，我们就以华为云Flexus云服务器X实例来部署一下，顺便测测其性能看看。

在华为云828 B2B企业节狂潮中，Flexus X实例的限时大促销震撼来袭，绝对是你不容错过的超级福利！对于那些追求极致算力、对自建MySQL、Redis、Nginx性能有着苛刻要求的技术极客们，这次活动无疑是你们的专属盛宴！赶紧抓住这个千载难逢的机会，让业务效能飞跃升级！！！

注意：本文为高端局，对于还不知道怎么使用shell工具，不知道云服务器为何物？不知道大模型为何物的读者可以退出啦，本文不太适合

部署千问大模型

之前一直就想搞个大模型玩玩了，奈何电脑配置不打够，所以只能是可望而不可及，今天，就单独用这款华为云Flexus云服务器X实例来试试。

本文我们基于Ollama部署和运行大模型，那么，何为Ollama？

官网：在这里

不过官网上都是洋文，看着比较吃力。我搜了些资料，给大家现个丑：

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。来源：这里

下面，我们来开始实操！

1. 下载Ollama用于启动并运行大模型,手动下载ollma，下载地址如下所示：

curl -fsSL https://ollama.com/install.sh | sh

我们可以直接从浏览器中输入，然后 会自动下载，当然，我们也可以直接从shell工具中下载，不过就是有点慢，他这个东西还很大。

等待的过程挺漫长，可以先去找点别的事儿去做。

接着等待…

终于在漫长的等待过程中，我们将ollama下载下来了啦，下面我们就可以开始体验了！！！

2. 启动ollama的服务

当我们服务器中有了ollama的服务后，我们需要启动他！命令如下：

systemctl start ollama.service

然后我们在执行一下下面的命令，看看服务是否已经启动：

systemctl status ollama.service

3. 设置服务开机自启动：

sudo systemctl enable ollama

4. 查看内存占用情况。

两个方法都可以查看，第一是从宝塔面板中查看，第二就是直接输入命令：

free -h

大家可以看的出来，used这一列，表示的是已使用，目前来看，并不多。

5. 运行大模型

我们先来看看ollama支持的大模型有哪些？点击：这里查看

我们先跑个小点的千问大模型吧，千问0.5B的模型看看。

输入命令：

ollama run qwen2:0.5b

还是继续等待…等待的过程中，为了不浪费时间，可以看看别的事儿。

等待完成，下面我们就可以看到:Send a message这句话了，表示我们可以直接使用大模型提问啦

7. 体验大模型

我们输入个问题试试看看：

不知道为啥，他非要说自己是李政保，还说的有鼻子有眼的，质量的问题我们不管，我们看性能和速度问题。

简单的录了个小视频，这速度还是很快的。可见这服务器的性能还是不错的，感兴趣的伙伴们，可以尝试跑跑更大的模型试试。

总体来说，这次活动的力度还是蛮大的，主要是服务器性能也确实可以，不用GPU也可以跑大模型了，本文就是我们单纯的用CPU就行跑的，体验很好。

至此，本文over。