超简单实现Notes智能AI问答系统

大家好,才是真的好。

不知道大家知道不知道ollama.com在线平台站点,除了提供大语言模型部署和运行工具外,还发布了很多开源的大语言模型,同时支持用户快速在本地运行指定的开源大模型。目前该站点已经有发布有二十余款大预言模型(我没有认真地数一数,摊手)。

今天我们以Llama 3.2 Vision 版本为例,讲解本地部署运行,并在Notes客户机中通过Lotusscript来进行调用,实现简单而强大的智能ai问答系统。

Llama 3.2 Vision是Meta今年10月份发布的具备图像(视觉)处理能力的本地大语言模型,分为两种尺寸:11B 适用于在消费级 GPU 上的高效部署和开发,90B 适用于大规模应用。

你一看就知道,我们今天肯定只能部署11B了,毕竟我的Mac配置是有限的,而需求是无限的。

打开ollama.com站点,点击右上角的Downlad,根据自己的电脑系统,选择不同版本,我们这里以Windows为例(实际上我采用的是macOS),如下图:

图片

下载后,双击安装即可。

图片

桌面上便出现了Ollama的图标,双击运行。

图片

再接着回到ollama.com站点,选择右上角的Models,找到llama3.2-vision模型,拷贝拉取llama3.2-vision的命令,如下图:

图片

然后打开windows里面的cmd命令行,或Mac中的终端命令行工具,拷贝进去运行,如下图

剩下的时间就是拼网速和等待了。

图片

等下载完成后,该模型就算部署完成了。

现在你可以直接在命令行或终端工具中进行对话,如下图:

图片

也可以考虑采用第三方界面工具来安排一个API调用,有界面更好用。

因为该模型在计算机本地本地,侦听端口为11434。

于是我们就想到了Notes中设计一个表单,如下图:

图片

你要是觉得不好看,可以改进一点,但我们将就一下,重要的是答复按钮中的Lotusscript代码,如下图:

图片

非常简单的Lotusscript代码,其中变量url就是调用本地模型的地址。

现在我们试用一下,先用中文问问它是谁。

图片

然后让它用中文写一首Lotus Notes的诗歌……

图片

我觉得它的诗歌充满了偏见。你觉得呢?

最后欢迎搜索公众号“协作者”来关注我。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值