微软开源Bing搜索背后的关键算法

微软今天宣布开源了一项 Bing 搜索背后的关键算法 —— SPTAG,它使 Bing 能够快速将搜索结果返回给用户。

仅在几年前,网络搜索很简单,用户输入几个关键词然后浏览结果页面。现如今,这些用户可能会在手机上拍照并将其放入搜索框中,或使用智能助手提问,而无需亲自触摸设备。他们也可能会输入一个问题并期待一个实际的答复,而不是一个可能答案的页面列表。

SPTAG (Space Partition Tree And Graph,空间划分树和图)是分布式近似最近邻域搜索(ANN)库的核心,为大规模矢量搜索场景提供高质量矢量索引构建、搜索和分布式在线服务工具包。

利用 SPTAG 算法作为开源 Python 库的核心,Bing 能够在几毫秒内搜索数十亿条信息

640?wx_fmt=png

当然,矢量搜索本身并不是一个新想法,但微软所做的是将这一概念应用于深度学习模型

首先,团队采用预先训练的模型并将数据编码到矢量中,其中每个矢量代表一个字或像素。然后使用新的 SPTAG 库生成向量索引。随着查询的进入,深度学习模型将该文本或图像转换为向量,该库紧接着就能在索引中找到最相关的向量。

微软表示,SPTAG 库迄今已对超过 1500 亿条数据进行了编目,包括单个单词、字符、网页代码段和完整查询。

“Bing 每天处理数十亿个文档,现在的想法是将这些条目表示为向量,并搜索这个 1000 亿以上向量的巨大索引,以便在 5 毫秒内找到最相关的结果”。

通过将矢量搜索应用到深度学习模型,微软让 Bing 搜索引擎能更快地向用户提供更相关的结果。

例如在 Bing 上搜索“巴黎的塔楼有多高?”,搜索引擎会告诉你埃菲尔铁塔高 324 米(1063 英尺),尽管在搜索关键词中并没有出现“埃菲尔”(Eiffel)这个单词。

Bing 团队期望开源 SPTAG 可用于构建可识别基于音频片段所说语言的应用,或用于让用户拍摄植物照片并识别属和物种的服务。

该库现已开放使用,并提供构建和搜索这些分布式矢量索引的所有工具。

码云极速下载地址
https://gitee.com/mirrors/sptag

开源让世界更美好↓↓↓

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值