开始部署：Domino直接整合AI大语言模型

大家好，才是真的好。 

如果看了上篇我们安装Notes/Domino 14.5环境的过程，今天就可以再来关注一下这次14.5正式版中将会重点推出的新功能：Domino IQ。即部署和整理本地AI大模型，记得当前Domino IQ仅支持在Windows 和 Linux 操作系统上部署哦。

前面提过，Domino IQ中的推理引擎可执行文件可不使用 GPU 构建，模型会被加载到内存中，根据大语言模型类型不同，所需内存大小也不一样，不过总的来说，Domino IQ至少需要4核CPU和至少8GB的内存来运行。

本来趁着Deepseek这股东风，我也想在本地部署Deepseek，但考虑到改模型实在是太大，我还是采用了Llama 3.2来进行测试，如下图：

为了让整个过程更加顺利，我果断地选择了英文版本的Domino 14.5。

配置过程很简单，我们先走一遍。

先打开Domino Administrator管理客户机，然后点击“操作”下的“编辑目录简要表”，如下图

在出现的界面中，选择“Domino IQ”选项卡，然后选择哪些Domino服务器作为IQ运行的服务器，还有IQ管理服务器是哪台，我这里的测试环境中只有一台，如下图：

接着重启Domino服务，于是Domino的数据Data目录下会多一个文件夹出llm_models，以及会自动创建的notes数据库dominoiq.nsf。

我们先把别人已经蒸馏好（预训练）的Llama-3.2模型下载下来，GGUF只需要cpu和内存来进行计算运行，地址是：https://huggingface.co/lmstudio-community/Llama-3.2-3B-Instruct-GGUF，放到llm_models文件夹下，如下图：

然后，在Administrator管理客户机中找到数据库dominoiq.nsf，双击打开该库：

在dominoiq.nsf数据库中找到Models视图，添加一个新的Models模型文档：

把刚才我们放到llm_models文件夹的模型名称写一下，例如llm_models文件夹，其他的就自己命名，如下图：

接着在dominoiq.nsf数据库中找到configuration配置视图，添加一个新的配置文档：

选择Domino服务器名称以及刚才我们配置的大语言模型名称，状态改为Enable，建议设置一个APIKey，其他系统或应用调用时可以使用。然后其他保持默认，如下图：

最后我们可以把一些常用的Prompt提示语改为命令，这样就不会每次要求使用用户自己输入，例如有些邮件太长了，我们要总结一下该邮件主要内容，我们就添加一个SummarizeMailThread命令，里面的Prompt提示语是“Please summarize the input emall thread within 200 words . Do not just respond with the body of the email”，如下图：

保存关闭，我们重启Domino服务器，即可以看到DominoIQ任务加载了，如下图：

我给Domino分配了8G内存，IQ任务也没闲着，用了不少：

实际部署时候，建议使用16G、32G或更多内存比较好，想想某Exchange动辄128G内存……这个其实已经算很少的。

对了，我们配置好了，怎么测试呢。

最简单的方式，就是我在邮件正文中写了一个按钮“邮件分析”（其实你可以写在操作栏上），效果如下：

然后执行时就能看到结果，帮我们分析了这封邮件的主要内容：

总结一下，Domino IQ实践部署很简单，使用时可以采用lotusscript直接内部调用；当然如果正式版的Notes 14.5客户机中直接集成使用就更好了。

今天就介绍到这里。

最后欢迎搜索公众号“协作者”来关注我。