DuckDB: 向量索引(vss)的一些注意事项

DuckDB最近添加了向量索引，这对于刚刚进入人工智能领域的人来说非常棒，但他们仍然喜欢成熟SQL（以及嵌入式/无服务器数据库）的温暖舒适。

VSS索引旨在加快搜索速度——DuckDB已经提供了相似性/距离函数和向量/数组数据类型，所以严格来说，它是一个有就好而不是必须的特性，特别是当您有几个（1000个而不是数百万个）文档时，并且可以在不减慢速度的情况下执行强行全表扫描。

查询计划

一旦添加了向量索引，就有必要检查DB是否确实使用了索引，特别是对于您想要加速的查询，以及它们是否确实运行得更快。

这篇文章介绍了一些向量搜索SQL查询和它们相关的查询计划。对于那些不习惯阅读查询计划的人，这里有一个快速且非常简单的入门：

• 每个“框”或节点是数据库在处理查询时执行的一个步骤或操作。操作可以类似于Order By（需要根据某些标准对行进行排序）或Projection（需要选择部分或全部列并忽略其余列）。

• 通常查询计划是树状或dag状的但我们今天要讲的所有查询计划都是线性的（即一步接着下一步等等）

• 在OLAP数据库（如DuckDB）中，索引并不是那么重要，因为大多数查询都将扫描整个表（而不是选择一两行来执行事务）。但是，对于某些特殊情况，如全文搜索或向量相似性搜索，索引在OLAP数据库中仍然非常重要。

• 在我们的示例中，一旦向量索引就绪，我们需要在查询计划中查找节点，其中DB正在执行索引扫描（HNSW_INDEX_SCAN），表明它没有通过顺序扫描（SEQ_SCAN）强行执行。

VSS索引示例

让我们从一些测试数据开始，然后创建索引。在DuckDB中使用矢量索引要记住的第一件事是在运行查询之前总是加载扩展-如果你不这样做，DuckDB不会警告你，它会简单地选择顺序扫描：

install vss;
load vss;
# D set hnsw_enable_experimental_persistence=true;  如果不是内存模式，需要增加该设置项
create table tbl (id integer primary key, vec float[3]);

insert into tbl
select a, array_value(a, a+1,a+2)
from range(1, 1000) ra(a);

create index idx on tbl using hnsw (vec);

limit子句非常有必要

如果没有limit子句，DuckDB会选择顺序扫描——这是正确的操作。这应该不用说了（特别是对于top-K查询），但仍然值得一提：

让我们做一个解释来获取查询计划。

当省略限制子句时：

explain
select * from tbl
order by array_distance(vec, [1, 2, 3]::float[3]) asc;

返回结果显示采用了顺序扫描（看最后部分）：

┌─────────────────────────────┐
│┌───────────────────────────┐│
││       Physical Plan       ││
│└───────────────────────────┘│
└─────────────────────────────┘
┌───────────────────────────┐
│         PROJECTION        │
│    ────────────────────   │
│__internal_decompress_integ│
│     ral_integer(#0, 1)    │
│             #1            │
│                           │
│         ~999 Rows         │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│          ORDER_BY         │
│    ────────────────────   │
│           #2 ASC          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│         PROJECTION        │
│    ────────────────────   │
│__internal_compress_integra│
│     l_usmallint(#0, 1)    │
│             #1            │
│             #2            │
│                           │
│         ~999 Rows         │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│         PROJECTION        │
│    ────────────────────   │
│             id            │
│            vec            │
│ array_distance(vec, [1.0, │
│         2.0, 3.0])        │
│                           │
│         ~999 Rows         │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│         SEQ_SCAN          │
│    ────────────────────   │
│            tbl            │
│                           │
│        Projections:       │
│             id            │
│            vec            │
│                           │
│         ~999 Rows         │
└───────────────────────────┘

增加limit子句：

explain
select * from tbl
order