使用VideoDB与大型语言模型构建视频检索与分析系统-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/140338390

在本篇文章中，我们将探讨如何使用VideoDB搭配大型语言模型（LLMs）来构建一个视频检索与分析系统。VideoDB是一个无服务器数据库，专为视频内容的存储、搜索、编辑和流媒体而设计。通过使用VideoDB，我们可以大大简化构建视频内容检索库的复杂性。在本文中，我们将展示如何安装VideoDB、上传视频、进行索引和查询操作，并展示查询结果的视频流。

环境配置

在开始之前，我们需要获取VideoDB的API密钥，并在环境变量中设置。

import os

os.environ["OPENAI_API_KEY"] = "your_openai_api_key"
os.environ["VIDEO_DB_API_KEY"] = "your_videodb_api_key"  #中转API

依赖安装

我们需要安装以下几个依赖包:

!pip install llama-index
!pip install videodb
!pip install llama-index-retrievers-videodb

数据上传

首先，我们上传一些视频文件，可以是公共URL、YouTube链接或本地文件。

from videodb import connect

# 连接到VideoDB
conn = connect()

# 上传视频到默认集合
print("上传第一个视频")
video1 = conn.upload(url="https://www.youtube.com/watch?v=lsODSDmY4CY")
print("上传第二个视频")
video2 = conn.upload(url="https://www.youtube.com/watch?v=vZ4kOr38JhY")

视频索引

为了在视频内部进行搜索，需要先对视频进行索引。支持两种索引方式：spoken_words索引和scenes索引。

print("正在索引视频...")
video1.index_spoken_words()
video2.index_spoken_words()

查询操作

视频索引完成后，我们可以使用VideoDBRetriever在VideoDB中获取相关节点。

from llama_index.retrievers.videodb import VideoDBRetriever
from llama_index.core import get_response_synthesizer
from llama_index.core.query_engine import RetrieverQueryEngine

retriever = VideoDBRetriever()
response_synthesizer = get_response_synthesizer()
query_engine = RetrieverQueryEngine(retriever=retriever, response_synthesizer=response_synthesizer)

response = query_engine.query("What's the benefit of morning sunlight?")
print(response)

查看搜索结果的视频流

我们可以使用VideoDB的编程视频流功能创建查询结果的汇编视频流。

from videodb import connect, play_stream
from videodb.timeline import Timeline
from videodb.asset import VideoAsset

conn = connect()
timeline = Timeline(conn)
relevant_nodes = retriever.retrieve("What's the benefit of morning sunlight?")

for node_obj in relevant_nodes:
    node = node_obj.node
    node_asset = VideoAsset(asset_id=node.metadata["video_id"], start=node.metadata["start"], end=node.metadata["end"])
    timeline.add_inline(node_asset)

stream_url = timeline.generate_stream()
play_stream(stream_url)

配置VideoDBRetriever

VideoDBRetriever支持为单一视频或不同索引类型进行检索配置。

# 仅搜索一个视频
VideoDBRetriever(video="my_video.id")

# 使用关键词检索
keyword_retriever = VideoDBRetriever(search_type="keyword", video="my_video.id")

# 使用语义检索
semantic_retriever = VideoDBRetriever(search_type="semantic")

# 使用视觉信息检索（仅限Beta用户）
visual_retriever = VideoDBRetriever(search_type="scene")

# 配置阈值参数
custom_retriever = VideoDBRetriever(result_threshold=2, score_threshold=0.5)

访问特定节点的视频流

可以直接从VideoDB的视频对象生成特定部分的流媒体URL。

from videodb import connect

video_node = relevant_nodes[0].node
conn = connect()
coll = conn.get_collection()
video = coll.get_video(video_node.metadata["video_id"])
start = video_node.metadata["start"]
end = video_node.metadata["end"]

stream_url = video.generate_stream(timeline=[(start, end)])
play_stream(stream_url)