Milvus（4）：创建 Collections

游王子og

于 2025-04-23 09:49:59 发布

阅读量874

点赞数 15

分类专栏： AI人工智能文章标签： milvus

本文链接：https://blog.csdn.net/qq_40298351/article/details/147440492

版权

AI人工智能专栏收录该内容

37 篇文章

订阅专栏

1 创建 Collections

可以通过定义 Schema、索引参数、度量类型以及创建时是否加载来创建一个 Collection。

1.1 集合概述

Collection 是一个二维表，具有固定的列和变化的行。每列代表一个字段，每行代表一个实体。要实现这样的结构化数据管理，需要一个 Schema。要插入的每个实体都必须符合 Schema 中定义的约束条件。

你可以确定 Collections 的方方面面，包括其 Schema、索引参数、度量类型，以及是否在创建时加载，以确保集合完全满足你的要求。要创建一个 Collection，您需要

创建 Schema
设置索引参数（可选）
创建 Collections

1.2 创建 Schema

Schema 定义了 Collections 的数据结构。创建 Collections 时，需要根据自己的要求设计模式。以下代码片段创建了一个模式，其中包含启用的 Dynamic Field 和三个必填字段，分别命名为my_id 、my_vector 和my_varchar 。

from pymilvus import MilvusClient, DataType

client = MilvusClient(
    uri="http://localhost:19530",
    token="root:Milvus"
)

schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=True,
)

schema.add_field(field_name="my_id", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="my_vector", datatype=DataType.FLOAT_VECTOR, dim=5)
schema.add_field(field_name="my_varchar", datatype=DataType.VARCHAR, max_length=512)

1.3 (可选）设置索引参数

在特定字段上创建索引可加快对该字段的搜索。索引记录了 Collections 中实体的顺序。如以下代码片段所示，您可以使用metric_type 和index_type 为 Milvus 选择适当的方式为字段建立索引，并测量向量嵌入之间的相似性。在 Milvus 上，您可以使用AUTOINDEX 作为所有向量场的索引类型，并根据需要使用COSINE 、L2 和IP 中的一种作为度量类型。

如上述代码片段所示，您需要为向量场同时设置索引类型和度量类型，而只需为标量场设置索引类型。索引对于向量字段是强制性的，建议您在筛选条件中经常使用的标量字段上创建索引。

index_params = client.prepare_index_params()

index_params.add_index(
    field_name="my_id",
    index_type="AUTOINDEX"
)

index_params.add_index(
    field_name="my_vector", 
    index_type="AUTOINDEX",
    metric_type="COSINE"
)

1.4 创建 Collections

如果创建了带有索引参数的 Collection，Milvus 会在创建时自动加载该 Collection。在这种情况下，索引参数中提到的所有字段都会被索引。以下代码片段演示了如何创建带索引参数的 Collections 并检查其加载状态。

client.create_collection(
    collection_name="customized_setup_1",
    schema=schema,
    index_params=index_params
)

res = client.get_load_state(
    collection_name="customized_setup_1"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: Loaded>"
# }

也可以创建不带任何索引参数的 Collections，然后再添加索引参数。在这种情况下，Milvus 不会在创建时加载 Collection。.以下代码片段演示了如何创建一个不带集合的 Collection，创建时集合的加载状态仍为未加载。

client.create_collection(
    collection_name="customized_setup_2",
    schema=schema,
)

res = client.get_load_state(
    collection_name="customized_setup_2"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: NotLoad>"
# }

1.5 设置 Collections 属性

您可以为要创建的 Collection 设置属性，使其适合您的服务。适用的属性如下。

1.5.1 设置分片编号

分片是 Collections 的水平切片。每个分区对应一个数据输入通道。每个 Collections 默认都有一个分片。创建 Collections 时，可根据预期吞吐量和要插入 Collections 的数据量设置适当的分片数。

在常见情况下，每当预期吞吐量增加 500 MB/秒或要插入的数据量增加 100 GB 时，就可以考虑增加一个分片。这一建议是基于我们自己的经验，可能并不完全适合您的应用场景。你可以根据自己的需要调整这个数字，或者直接使用默认值。下面的代码片段演示了如何在创建 Collection 时设置分片数。

# 带分片号
client.create_collection(
    collection_name="customized_setup_3",
    schema=schema,
    # highlight-next-line
    num_shards=1
)

1.5.2 启用 mmap

Milvus 默认在所有 Collections 上启用 mmap，允许 Milvus 将原始字段数据映射到内存中，而不是完全加载它们。这样可以减少内存占用，提高 Collections 的容量。

# With mmap
client.create_collection(
    collection_name="customized_setup_4",
    schema=schema,
    # highlight-next-line
    enable_mmap=False
)

export params='{
    "mmap.enabled": True
}'

export CLUSTER_ENDPOINT="http://localhost:19530"
export TOKEN="root:Milvus"

curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/collections/create" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d "{
    \"collectionName\": \"customized_setup_5\",
    \"schema\": $schema,
    \"params\": $params
}"

1.5.3 设置 Collections TTL

如果某个 Collection 中的数据需要在特定时间段内丢弃，可以考虑设置其 Time-To-Live (TTL)，单位为秒。一旦 TTL 超时，Milvus 就会删除 Collection 中的实体。删除是异步的，这表明在删除完成之前，搜索和查询仍然可以进行。下面的代码片段将 TTL 设置为一天（86400 秒）。建议至少将 TTL 设置为几天。

client.create_collection(
    collection_name="customized_setup_5",
    schema=schema,
    # highlight-start
    properties={
        "collection.ttl.seconds": 86400
    }
    # highlight-end
)

1.5.4 设置一致性级别

创建 Collections 时，可以为集合中的搜索和查询设置一致性级别。您还可以在特定搜索或查询过程中更改 Collections 的一致性级别。

client.create_collection(
    collection_name="customized_setup_6",
    schema=schema,
    # highlight-next
    consistency_level="Bounded",
)

1.5.5 启用动态字段

Collections 中的动态字段是一个保留的 JavaScript Object Notation (JSON) 字段，名为$meta。启用该字段后，Milvus 会将每个实体中携带的所有非 Schema 定义字段及其值作为键值对保存在保留字段中。

2 即时创建 Collections

通过设置名称和向量场维度，可以立即创建一个 Collection。创建时，Milvus 会自动索引向量场并加载 Collections。

AIGC 应用程序通常使用向量数据库作为知识库，管理用户与大型语言模型（LLMs）交互过程中产生的数据。这些知识库几乎是相似的。为了加快 Milvus Collections 在此类场景中的使用，我们提供了一种即时方法，只需两个参数，即 Collections 名称和向量场维度，即可创建一个 Collection。使用默认设置即时创建 Collections 时，以下设置适用：

主字段和向量字段被添加到 Schema 中（id和向量）。
主字段接受整数并禁用AutoId。
向量字段接受浮动向量 Embeddings。
AUTOINDEX用于在向量字段上创建索引。
COSINE用于测量向量嵌入之间的相似性。
启用名为$meta的储备动态字段，可将非 Schema 定义的字段及其值保存为键值对。
该 Collections 会在创建时自动加载。

2.1 快速设置

通过这种方式，您只需输入集合名称和向量场维数，即可即时创建集合。

from pymilvus import MilvusClient, DataType

CLUSTER_ENDPOINT = "http://localhost:19530"
TOKEN = "root:Milvus"

# 1. 设置一个Milvus客户端
client = MilvusClient(
    uri=CLUSTER_ENDPOINT,
    token=TOKEN 
)

# 2. 在快速设置模式下创建集合
client.create_collection(
    collection_name="quick_setup",
    dimension=5
)

res = client.get_load_state(
    collection_name="quick_setup"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: Loaded>"
# }

2.2 使用自定义字段快速设置

如果默认的度量类型、字段名称和数据类型不能满足您的需求，您可以按以下方式调整这些设置。

from pymilvus import MilvusClient, DataType

CLUSTER_ENDPOINT = "http://localhost:19530"
TOKEN = "root:Milvus"

# 1. 设置一个Milvus客户端
client = MilvusClient(
    uri=CLUSTER_ENDPOINT,
    token=TOKEN 
)

# 2. 在快速设置模式下创建集合
client.create_collection(
    collection_name="custom_quick_setup",
    dimension=5,
    primary_field_name="my_id",
    id_type="string",
    vector_field_name="my_vector",
    metric_type="L2",
    auto_id=True,
    max_length=512
)

res = client.get_load_state(
    collection_name="custom_quick_setup"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: Loaded>"
# }