果蔬识别系统性能优化之路（三）

前情提要

果蔬识别系统性能优化之路（二）

遗留问题

1. 优化同步速度，目前大约30秒，不是一个生产速度
   这次来解决遗留问题

通过console，发现两个地方特别耗时，一个是查询数据，另一个是初始化ivf

 /**
   * 同步redis
   * @param storeCode
   */
  async syncRedis(storeCode: string) {
    let s = Date.now();
    const featureDatabase = await this.findAll(storeCode);
    let e = Date.now();
    console.log(`查询耗时1：${e - s}ms`);
    const ids = featureDatabase.map(({ id }) => id);
    await this.redisService.set(`${storeCode}-featureDatabase`, JSON.stringify(ids));
    s = Date.now();
    const url = 'http://localhost:5000/sync'; // Python 服务的 URL
    await firstValueFrom(this.httpService.post(url, { data: featureDatabase, storeCode }));
    e = Date.now();
    console.log(`查询耗时3：${e - s}ms`);
  }

解决方案

优化查询速度

之前使用的是FIND_IN_SET方法对类似1,2,3这样的数据进行包含条件的查询，速度太慢了，优化后：

/**
   * 查询所有
   * @param storeCode
   */
  async findAll(storeCode: string) {
    return await this.featureRepository.createQueryBuilder('feature')
      .select(['feature.id', 'feature.features'])
      .where('feature.storeCode REGEXP :storeCode', { storeCode: `(^|,)${storeCode}(,|$)` })
      .getMany();
  }

效果提升了一倍：

优化ivf初始化的速度

当前的初始化方法

 def __init__(self, features, nlist=100, m=16, n_bits=8):
        d = features.shape[1]
        # 创建量化器
        quantizer = faiss.IndexFlatL2(d)  # 使用L2距离进行量化
        self.index = faiss.IndexIVFPQ(quantizer, d, nlist, m, n_bits)
        # 训练索引
        self.index.train(features)
        self.index.add(features)  # 将特征向量添加到索引中

优化方法：

1. 增加并行化处理

# 设置线程数，例如使用所有可用的CPU核心
faiss.omp_set_num_threads(num_threads)  # num_threads 是你希望使用的线程数量

2. 减少索引的复杂度
   减少nlist和m的值，但这样会损失精度，先不采用
3. 使用增量添加数据
   分批处理可以分散压力，同时利用数据流式处理的优势。

batch_size = 1000  # 每次处理1000个特征
for i in range(0, len(features), batch_size):
    self.index.add(features[i:i+batch_size])

4. 更换其他索引类型

self.index = faiss.IndexIVFFlat(quantizer, d, nlist)

下一步

1. 新建store_feature表，关联storeCode和featureId表，对数据库进行规范化，创建一个新的表来映射storeCode与feature的关系，从而可以使用简单的WHERE条件来充分利用索引
2. 实现对特征向量ivf的增删改查