Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

前言

记录一下Faiss在项目使用中的一些优化,对OMP_NUM_THREADS 环境变量参数的测试验证~

   OMP_NUM_THREADS 用于控制线程并发数.

   测试条件:单个循环请求,持续时间大于15m;
   基础数据:200w
   软件环境:docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
   检索服务功能: (汉明距离计算 + 欧式距离计算 )

结论:

    测试总结如下:
        * CPU=1 & OMP_NUM_THREADS=1时,
         - 1m,5m,15m load average 分布为 31.54,41.16,43.43;
         - CPUs(%) 用户空间占比:32.1;内核空间占比:2.4;空闲占比:65.2;
         - faiss 检索耗时大约在5-6ms左右;
         - 检索服务整体响应时间较平稳,大部分在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=1时,
         - 1m,5m,15m load average 分布为 49.17,48.70,50.54;
         - CPUs(%) 用户空间占比:39.5;内核空间占比:4.2;空闲占比:30.3;
         - faiss 检索耗时大约在5-7ms左右;
         - 检索服务整体响应时间较平稳,大部分耗时在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 41.33,43.90,55.87;
         - CPUs(%) 用户空间占比:20.7;内核空间占比:2.3;空闲占比:58.0;
         - faiss 检索耗时不稳定,抖动较大, 大约在10-90ms左右;
         - 检索服务整体响应时间存在抖动,大约在14-92ms左右;
    * CPU=1 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 67.77,61.89,61.07;
         - CPUs(%) 用户空间占比:20.6;内核空间占比:2.9;空闲占比:18.2;
         - faiss 检索耗时不稳定,抖动较大, 大约在5-80ms左右;
         - 检索服务整体响应时间存在抖动,大约在13-99ms左右;

    最终结论:
           a: OMP_NUM_THREADS=1时,faiss检索耗时较稳定;
        b: OMP_NUM_THREADS=10时,faiss检索耗时不稳定,抖动较大;
        b: OMP_NUM_THREADS=1时, 多核CPU相较于单核CPU,负载略高,利用率略高,空闲占比较低;
        c: OMP_NUM_THREADS=10时, 多核CPU相较于单核CPU,负载较低,利用率较低,空闲占比较高;
        d: 优化方向:OMP_NUM_THREADS=1 + 多进程

测试结果统计:

* CPU=1 & OMP_NUM_THREADS=1

CPU=1 & OMP_NUM_THREADS=1 内存情况
CPU=1 & OMP_NUM_THREADS=1 faiss 检索时间
CPU=1 & OMP_NUM_THREADS=1 检索服务整体响应时间

* CPU=3 & OMP_NUM_THREADS=1

CPU=3 & OMP_NUM_THREADS=1 内存情况
CPU=3 & OMP_NUM_THREADS=1 faiss 检索时间
CPU=3 & OMP_NUM_THREADS=1 检索服务整体响应时间

* CPU=3 & OMP_NUM_THREADS=10

CPU=3 & OMP_NUM_THREADS=10 内存情况
CPU=3 & OMP_NUM_THREADS=10 faiss 检索时间
CPU=3 & OMP_NUM_THREADS=10 检索服务整体响应时间

* CPU=1 & OMP_NUM_THREADS=10

CPU=1 & OMP_NUM_THREADS=10 内存情况
CPU=1 & OMP_NUM_THREADS=10 faiss 检索时间
CPU=1 & OMP_NUM_THREADS=10 检索服务整体响应时间

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值