大模型+向量数据库：构建企业Chatbot与处理非结构化数据的利器

这个春天，最让人震感的科技产品莫过于ChatGPT的横空出世，通过大语言模型（LLM）让人们看到了生成式AI能实现到和人类语言高度相仿的语言表达能力，AI不再遥不可及而已经可以走进人类的工作和生活，这使得沉寂一段时间的AI领域重新焕发了能量，无数的从业者正趋之若鹜地投身于下一个改变时代的机会；据不完全统计，在短短的4个月时间内，美国已经完成了超4000笔的生成式AI的行业融资。生成式AI已经成为了资本和企业都无法忽视的下一代的技术密码，而其对于底层的基础设施能力提供了更高的要求。

大模型能够回答较为普世的问题，但是若要服务于垂直专业领域，会存在知识深度和时效性不足的问题，那么企业如何抓住机会并构建垂直领域服务？目前有两种模式，第一种是基于大模型之上做垂直领域模型的Fine Tune，这个综合投入成本较大，更新的频率也较低，并不适用于所有的企业；第二种就是在向量数据库中构建企业自有的知识资产，通过大模型+向量数据库来搭建垂直领域的深度服务，本质是使用数据库进行提示工程(Prompt Engineering)。以法律行业为例，基于垂直类目的法律条文和判例，企业可以构建垂直领域的法律科技服务。如法律科技公司Harvey，正在构建“律师的副驾驶”（Copilot for Lawyer）以提高法律条文的起草和研究服务。

将企业知识库文档和实时信息通过向量特征提取然后存储到向量数据库，结合LLM大语言模型可以让Chatbot（聊天机器人）的回答更具专业性和时效性，构建企业专属Chatbot。下面视频是一个基于大语言模型+AnalyticDB for PostgreSQL（以下简称ADB-PG，内置向量数据库能力）让Chatbot更好地回答时事问题在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化的数据随着智慧城市，短视频，商品个性化推荐，视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化的数据，我们通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和检索以实现对非结构化数据的处理。因此，我们把这种能存储，分析和检索特征向量的数据库称之为向量数据库。

向量数据库对于特征向量的快速检索，一般会采用构建向量索引的技术手段，我们通常说的向量索引都属于ANNS（Approximate Nearest Neighbors Search，近似最近邻搜索），它的核心思想是不再局限于只返回最精确的结果项，而是仅搜索可能是近邻的数据项，也就是通过牺牲可接受范围内的一点精确度来换取检索效率的提高。这也是向量数据库与传统数据库最大的差别。

为了将ANNS向量索引更加方便的应用到实际的生产环境中，目前业界主要有两种实践方式。一种是单独将ANNS向量索引服务化，以提供向量索引创建和检索的能力，从而形成一种专有的向量数据库；另一种是将ANNS向量索引融合到传统结构化数据库中，形成一种具有向量检索功能的DBMS。

在实际的业务场景中，专有的向量数据库往往都需要和其他传统数据库配合起来一起使用，这样会造成一些比较常见的问题，如数据冗余、数据迁移过多、数据一致性问题等，与真正的DBMS相比，专有的向量数据库需要额外的专业人员维护、额外的成本，以及非常有限的查询语言能力、可编程性、可扩展性和工具集成。而融合了向量检索功能的DBMS则不同，它首先是一个非常完备的现代数据库平台，能满足应用程序开发人员的数据库功能需求；然后它集成的向量检索能力一样也可以实现专有的向量数据库的功能，并且使向量存储和检索继承了DBMS的优秀能力，如易用性（直接使用SQL的方式处理向量）、事务、高可用性、高可扩展性等等。