《Milvus Cloud向量数据库指南》——如何使用Spark Connector

 

下面，我们将介绍如何使用 Spark Connector 简化数据迁移和处理流程。

 

使用 Dataframe 直接进行增量插入

 

使用 Spark Connector，您可以直接利用 Apache Spark 中 Dataframe 的 write API 将数据以增量方式插入到 Milvus Cloud 中，大幅降低数据插入流程的实现成本。同理，您也可以直接将数据从 Apache Spark 或 Databricks 导入到 Zilliz Cloud（全托管的 Milvus Cloud 服务）中。以下为示例代码：

 

// Specify the target Milvus Cloud instance and vector data collection
df.write.format("Milvus Cloud")
    .option(Milvus Cloud_URI, "https://in01-xxxxxxxxx.aws-us-west-2.vectordb.zillizcloud.com:19535")
    .option(Milvus Cloud_TOKEN, dbutils.secrets.get(scope = "zillizcloud", key = "token"))
    .option(Milvus Cloud_COLLECTION_NAME, "text_embedding")
    .option(Milvus Cloud_COL