【数据库设计】向量搜索HNSW算法优化

做向量存储的过程中，遇到向量搜索的情况处理，HNSW算法是目前向量搜索的主要算法之一，采用的是图算法，主要的问题是使用内存大，训练时间长。做算法优化过程中获得部分技巧，分享出来。

一、算法本身的优化

        对ENTERPOINTER的优化，算法中层的数据NODE可以是多个，这时有个选择的问题，需要对HNSW 算法本身进行修改，需要进行后处理，因为当时插入数据节点时是局部的，并不是全局视角，这个是HNSW算法中可以优化的点，但也不是说局部的点在后续算法中不能保证是全局的，因为这和数据的分布式强相关，现在的邻居选择不能表示后面更优的邻居选择，有个概率的问题。

        HNSW层数的优化，虽然层数的算法是按指数衰减来计算的，保证随机性，层高也应该是有个限制，毕竟对运算的数据量有要求，可以根据数据集合的大小来进行层数的限制，数据量大，层数可以多些，层数多也意味着内存要求大。比如10000个点的数据，通过指数衰减算法，实验多次的结果是上到5层的数据量极少，随机上到10层几乎没有。依次类推，数据集合越大才会有数据上的比较高的层数。

        动态列表数量的优化，网上有大量的介绍，主要是性能和效果的平衡，属于调优的部分，是跷跷板。

        不同层选用邻居的算法，HNSW的论文中的两种选择邻居的算法，建议可以这样操