一句话理解bert与milvus实战

首先,本文项目使用开源的 bert-as-service ,使用 BERT 做为句子编码器,将新闻标题数据转化为固定长度为 728 维的特征向量,并导入 Milvus 库。
然后,对存入 Milvus 库中的特征向量进行存储并建立索引,同时 Milvus 会给这些特征向量分配一个 ID,将 ID 和对应的新闻标题和文本存储在 PostgreSQL 中。
最后,用户输入一个新闻标题,BERT 将其转成特征向量。Milvus 对特征向量进行相似度检索,得到相似的新闻标题的 ID ,在 PostgreSQL 中找出 ID 对应的新闻标题和文本返回。在后续界面展示中可以看到新闻文本搜索的一个例子。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 你可以使用 BERT 模型预测一句话中最可能出现的关键字。首先,你需要准备好训练好的 BERT 模型和输入数据,然后使用如下步骤进行搜索: 1. 将输入数据转换成 BERT 能够处理的格式,例如将文本转换成 BERT 输入所需的 ID 序列。 2. 使用 BERT 模型对输入数据进行编码,得到输入句子的表示向量。 3. 使用表示向量作为输入,调用搜索引擎的 API,获取搜索结果。 4. 对搜索结果进行处理,提取出关键字。 这是一个大致的流程,具体实现过程可能会有所不同。希望这对你有帮助。 ### 回答2: 使用BERT搜索一句话的关键字有以下几个步骤: 1. 数据预处理:将待搜索的句子进行分词,并添加特殊的标记符号,如[CLS]和[SEP]。同时,将句子转化为数字序列,以便输入BERT模型。 2. 输入编码:将预处理后的句子输入BERT模型,得到句子中每个词的词向量表示。 3. 关键字提取:通过计算句子中每个词的向量表示与一个预训练好的关键字向量之间的相似度,来确定关键字。 4. 相似度计算:常用的相似度计算方法包括余弦相似度和欧式距离。可以选择一个适合自己任务的相似度计算方法。 5. 关键字排序:根据相似度的大小,对关键字进行排序,得到搜索结果。也可以设置一个阈值,只保留相似度高于阈值的关键字。 以上是使用BERT搜索一句话关键字的基本步骤。值得注意的是,BERT模型需要大量的计算资源和较长的训练时间,在使用之前需要先进行预训练,并在特定任务上进行微调。此外,还可以结合其他算法和技术进行优化,以提升搜索的准确性和效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值