谷歌BigQuery推出新玩意儿，向量搜索登场啦！

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

谷歌最近宣布，BigQuery现在支持向量搜索啦！这项新功能让数据和人工智能的使用场景，比如语义搜索、相似度检测和使用大型语言模型（LLM）进行检索增强生成（RAG），变得更加简单。现在，这项服务还处于预览模式，不过已经提供了一个VECTOR_SEARCH函数，并依靠一个索引来优化查找和距离计算，从而找到最匹配的嵌入向量。BigQuery的向量索引会自动更新，而第一种实现的类型（IVF）就是通过一个聚类模型和一个倒排行定位器组成的双重索引。

来自谷歌的工程领头人Omid Fatemieh和产品负责人Michael Kilberry解释说：

向量搜索通常在高维数值向量，也就是嵌入向量上进行，这些向量包含了一个实体的语义表征，可以从文本、图片或视频等多种来源生成。BigQuery的向量搜索依靠索引来优化查找和距离计算，以识别最匹配的嵌入向量。

根据这个云服务提供商的说法，一个与BigQuery文本搜索功能类似的语法，帮助结合向量搜索操作与其他SQL原语。LangChain实现简化了与其他开源和第三方框架的Python集成。来自Opera的高级产品经理Max Ostapenko评论道：

尝试在BigQuery中使用嵌入向量进行向量搜索时，我真的很惊喜！现在开始深入探索使用Vertex AI增强产品洞察力的世界了。这真的扩展了你处理文本数据的方法。

向量搜索作为一个受欢迎的社区请求，谷歌提供了一个关于如何执行语义搜索和检索增强生成的教程。以谷歌专利公共数据集为例，谷歌展示了这项新功能的三种不同用例：使用预生成的嵌入向量进行专利搜索、使用BigQuery生成嵌入向量进行专利搜索，以及通过与生成模型的集成进行RAG。Fatemieh和Kilberry写道：

BigQuery的高级功能让你可以轻松扩展上述搜索案例到完整的RAG旅程。更具体地说，你可以使用VECTOR_SEARCH查询的输出作为上下文，通过BigQuery的ML.GENERATE_TEXT函数调用谷歌的自然语言基础（LLM）模型。

向量搜索并不是BigQuery最近的唯一公告。云服务提供商还透露，Gemini 1.0 Pro现在通过Vertex AI对BigQuery客户开放。此外，还有一个新的BigQuery到Vertex AI的文本和语音集成。

对于CREATE VECTOR INDEX语句和VECTOR_SEARCH函数的计费基于BigQuery的计算定价。对于CREATE VECTOR INDEX语句，只有被索引的列被计入处理字节的计算中。