Sphinx多线程分布式搜索

http://www.zrwm.com/?p=5393

Sphinx多线程分布式搜索

• Sphinx分布式索引

  单机器的分布式索引(单机上同时查询多个索引):

  index sitese01 {
      type = distributed
      local = chunk1
      local = chunk2
      local = chunk3
      local = chunk4
  }
  

  多机器分布式索引(对应用透明,可以让主节点仅聚合索引):

  index sitesindex {
      type = distributed
      agent = site01:9312:sitese01
      agent = site02:9312:sitese02
      ...
      agent = siteN:9312:siteseN
  }
  

• Sphinx多线程搜索

  Sphinx默认是使用单线程(dist_threads=0).通过调整Searchd配置的dist_threads参数,就可以充分利用多核CPU/硬盘的性能,使用多线程并行处理索引或查询,从而极大提高Sphinx的性能.其实最重要的一点就是尽可能将索引分区到每个CPU核,即每CPU核配置一部分索引.

  dist_threads设置推荐:

  • dist_threads = local索引数(dist_threads<=CPU的核数目)
  • 最好不要使”local索引数 / dist_threads”为非整数比例

  worker模式设置:

  • 推荐设置workers = threads(最高性能,中等风险,比fork快)
  • 设置workers = fork(默认设置,高性能,低风险)
  • 高负载情况下不推荐设置workers = prefork

  以下是一台双核CPU的机器,对索引进行分区的简单例子:

  source items_core0
  {
    …
    sql_query = SELECT … FROM items WHERE id % 2 = 0
    …
  }
  
  source items_core1 : items_core0
  {
    sql_query = SELECT … FROM items WHERE id % 2 = 1
  }
  
  index items_core0
  {
    source = items_core0
    path = /usr/local/sphinx/var/data/items_core0
  }
  
  index items_core1
  {
    source = items_core1
    path = /usr/local/sphinx/var/data/items_core1
  }
  
  index items_core
  {
    type = distributed
    local = items_core0
    local = items_core1
  }
  
  searchd
  {
    …
    # workers = threads
    dist_threads = 2 # 该值不应该大于CPU的核数
    …
  }
  

  实际生产环境中,取模运算未必是最好的分割数据的方式.根据实际数据,可能需要通过辅助数据表来定义分割区间,同时结合sql_query_range来更好进行索引.