大家好,才是真的好。
不知道大家知道不知道ollama.com在线平台站点,除了提供大语言模型部署和运行工具外,还发布了很多开源的大语言模型,同时支持用户快速在本地运行指定的开源大模型。目前该站点已经有发布有二十余款大预言模型(我没有认真地数一数,摊手)。
今天我们以Llama 3.2 Vision 版本为例,讲解本地部署运行,并在Notes客户机中通过Lotusscript来进行调用,实现简单而强大的智能ai问答系统。
Llama 3.2 Vision是Meta今年10月份发布的具备图像(视觉)处理能力的本地大语言模型,分为两种尺寸:11B 适用于在消费级 GPU 上的高效部署和开发,90B 适用于大规模应用。
你一看就知道,我们今天肯定只能部署11B了,毕竟我的Mac配置是有限的,而需求是无限的。
打开ollama.com站点,点击右上角的Downlad,根据自己的电脑系统,选择不同版本,我们这里以Windows为例(实际上我采用的是macOS),如下图:
下载后,双击安装即可。
桌面上便出现了Ollama的图标,双击运行。
再接着回到ollama.com站点,选择右上角的Models,找到llama3.2-vision模型,拷贝拉取llama3.2-vision的命令,如下图:
然后打开windows里面的cmd命令行,或Mac中的终端命令行工具,拷贝进去运行,如下图
剩下的时间就是拼网速和等待了。
等下载完成后,该模型就算部署完成了。
现在你可以直接在命令行或终端工具中进行对话,如下图:
也可以考虑采用第三方界面工具来安排一个API调用,有界面更好用。
因为该模型在计算机本地本地,侦听端口为11434。
于是我们就想到了Notes中设计一个表单,如下图:
你要是觉得不好看,可以改进一点,但我们将就一下,重要的是答复按钮中的Lotusscript代码,如下图:
非常简单的Lotusscript代码,其中变量url就是调用本地模型的地址。
现在我们试用一下,先用中文问问它是谁。
然后让它用中文写一首Lotus Notes的诗歌……
我觉得它的诗歌充满了偏见。你觉得呢?
最后欢迎搜索公众号“协作者”来关注我。