第15篇：基于Milvus实现自然语言理解的实战案例

最新推荐文章于 2025-07-21 13:51:08 发布

原创

最新推荐文章于 2025-07-21 13:51:08 发布 · 1.2k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#milvus #AIGC #人工智能 #自然语言处理

自然语言理解（NLU）是自然语言处理（NLP）的一个重要分支，旨在让计算机理解和解释人类语言。NLU广泛应用于搜索引擎、智能客服、推荐系统等领域。本文将详细介绍如何基于Milvus实现自然语言理解，特别是如何实现词嵌入与句嵌入、语义相似度计算。通过详细的代码示例，逐步讲解各个步骤的原理和实现方法。

文章目录

自然语言理解的基本概念

词嵌入

词嵌入（Word Embedding）是将词汇映射到低维向量空间中的技术，通过这种映射，可以将词汇的语义信息表示为向量。常见的词嵌入方法有Word2Vec、GloVe、FastText等。

句嵌入

句嵌入（Sentence Embedding）是将整个句子映射到低维向量空间中的技术，能够捕捉句子的语义信息。常见的句嵌入方法有Sentence-BERT、Universal Sentence Encoder等。

语义相似度计算

语义相似度计算是基于向量空间中的距离度量词汇或句子之间的相似度。常用的度量方法有余弦相似度、欧氏距离等。

环境准备

安装必要的依赖包

我们需要安装以下Python依赖包：

!pip install milvus
!pip install transformers
!pip install sentence-transformers
!pip install numpy

词嵌入与句嵌入的实现

使用预训练模型生成词嵌入

我们可以使用Transformers库中的预训练模型生成词嵌入。这里以BERT模型为例：

from transformers import BertTokenizer, BertModel
import torch

# 加载预训练的BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

def get_word_embedding(word):
    # 分词并转换为张量
    inputs = tokenizer(word, return_tensors='pt')
    outputs = model(**inputs)
    # 获取词嵌入
    word_embedding = outputs.last_hidden_state.mean(dim=1).detach().numpy()
    return word_embedding

# 示例
word = "example"
embedding = get_word_embedding(word)
print(embedding)

使用预训练模型生成句嵌入

同样，我们可以使用Sentence-BERT模型生成句嵌入：

from sentence_transformers import SentenceTransformer
import numpy as np

# 加载预训练的Sentence-BERT模型
model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

def get_sentence_embedding(sentence):
    """
    使用预训练的Sentence-BERT模型生成句嵌入
    :param sentence: 输入句子
    :return: 句嵌入向量
    """
    sentence_embedding = model.encode(sentence)
    return sentence_embedding

# 示例句子
sentences = [
    "This is an example sentence.",
    "This is another example.",
    "Completely different sentence."
]

# 生成所有句子的嵌入
embeddings = [get_sentence_embedding(sentence) for sentence in sentences]

插入句嵌入到Milvus

我们将生成的句嵌入插入到Milvus中进行管理和查询。

from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection

# 连接Milvus
connections.connect()

# 定义字段
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=384)
]

# 创建集合
schema = CollectionSchema(fields, "embedding_collection")
collection = Collection(name="nlp_collection", schema=schema)

# 创建索引
index_params = {
   
   
    "metric_type": "L2",
    "index_type": "IVF_FLAT",
    "params": {
   
   "nlist": 128}
}
collection.create_index(field_name="embedding", index_params=index_params)

# 插入数据
def insert_data(collection, embeddings):
    """
    插入嵌入数据到Milvus集合
    :param collection: Milvus集合
    :param embeddings: 嵌入向量列表
    """
    ids = list(range