solr索引分发处理以及搜索的更新与替换

最新推荐文章于 2023-05-21 10:27:37 发布

源远流长

最新推荐文章于 2023-05-21 10:27:37 发布

阅读量2.7k

点赞数

分类专栏：技术学习笔记搜索引擎文章标签： solr reference hashmap null thread exception

本文链接：https://blog.csdn.net/duck_genuine/article/details/6363844

版权

技术学习笔记同时被 2 个专栏收录

183 篇文章 0 订阅

订阅专栏

搜索引擎

104 篇文章 0 订阅

订阅专栏

今天对solr的分发机制研究一翻。。心中有几个疑问，IndexSearcher的切换是否导致服务停止？答案是不会。。

查看了solr实现这一切换的思路：

首先处理solr分发的类org.apache.solr.handler.ReplicationHandler，其中有一段

if (command.equalsIgnoreCase(CMD_FETCH_INDEX)) {
      String masterUrl = solrParams.get(MASTER_URL);
      if (!isSlave && masterUrl == null) {
        rsp.add(STATUS,ERR_STATUS);
        rsp.add("message","No slave configured or no 'masterUrl' Specified");
        return;
      }
      final SolrParams paramsCopy = new ModifiableSolrParams(solrParams);
      new Thread() {
        public void run() {
          doFetch(paramsCopy);
        }
      }.start();
      rsp.add(STATUS, OK_STATUS);
    }

可以看出是启动了一个线程来处理分发请求，主要是从主机那拷贝索引来。

if (!modifiedConfFiles.isEmpty()) {
          downloadConfFiles(confFilesToDownload, latestVersion);
          if (isFullCopyNeeded) {
            modifyIndexProps(tmpIndexDir.getName());
          } else {
            successfulInstall = copyIndexFiles(tmpIndexDir, indexDir);
          }
          if (successfulInstall) {
            LOG.info("Configuration files are modified, core will be reloaded");
            logReplicationTimeAndConfFiles(modifiedConfFiles, successfulInstall);//write to a file time of replication and conf files.
            reloadCore();
          }
        } else {
          terminateAndWaitFsyncService();
          if (isFullCopyNeeded) {
            successfulInstall = modifyIndexProps(tmpIndexDir.getName());
            deleteTmpIdxDir = false;
          } else {
            successfulInstall = copyIndexFiles(tmpIndexDir, indexDir);
          }
          if (successfulInstall) {
            logReplicationTimeAndConfFiles(modifiedConfFiles, successfulInstall);
            doCommit();
          }
        }

拷贝完主机索引后，此时子机接收到新的索引，此时如果solrconfig.xml或者schema.xml配置文件发生改变，会启动一个新线程重新加载新的SolrCore对象

   private void reloadCore() {
    new Thread() {
      public void run() {
        try {
          solrCore.getCoreDescriptor().getCoreContainer().reload(solrCore.getName());
        } catch (Exception e) {
          LOG.error("Could not restart core ", e);
        }
      }
    }.start();
}

重新加载schema.xml与solrconfig.xml里的实例与组件。

CoreContainer存放多个solrCore，由

protected final Map<String, SolrCore> cores = new LinkedHashMap<String, SolrCore>();

一个链表hashMap来存储，根据不同的名称映射其对象的引用空间。

synchronized (cores) {
      old = cores.put(name, core);
      core.setName(name);
    }

加载完solrcore后替换旧的solrcore引用地址。。

如果配置文件没有发生改变，则重用原来的solrcore,重新打开writer与indexSearcher,其中切换IndexSearcher的部分代码如下。

private void registerSearcher(RefCounted<SolrIndexSearcher> newSearcherHolder) throws IOException {
    synchronized (searcherLock) {
      try {
        if (_searcher != null) {
          _searcher.decref();   // dec refcount for this._searcher
          _searcher=null;
        }

        _searcher = newSearcherHolder;
        SolrIndexSearcher newSearcher = newSearcherHolder.get();

        newSearcher.register(); // register subitems (caches)
        log.info(logid+"Registered new searcher " + newSearcher);

      } catch (Throwable e) {
        log(e);
      } finally {
        // wake up anyone waiting for a searcher
        // even in the face of errors.
        onDeckSearchers--;
        searcherLock.notifyAll();
      }
    }
}