Apache Solr复制示例

最新推荐文章于 2020-05-31 00:51:28 发布

boonya

最新推荐文章于 2020-05-31 00:51:28 发布

阅读量1.3k

点赞数

分类专栏： # Elasticsearch/Lucene/Solr 文章标签： apache solr

Elasticsearch/Lucene/Solr 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

本文英文版地址：https://examples.javacodegeeks.com/enterprise-java/apache-solr/apache-solr-replication-example/

作者姓名：Veeramani Kalyanasundaram

作者简介：Veera是在电信领域工作的软件架构师，拥有丰富的Java中间件技术经验。他是一名OOAD从业者，对性能工程感兴趣。

翻译备注：本文采用谷歌翻译，请有时间的同学可以从英文版学习。

在这个Solr复制示例的示例中，我们将向您展示如何在Apache Solr中设置复制，并演示如何将新记录从主内核复制到从属内核。对于这个例子，我们将考虑一个主服务器和两个从服务器。在生产环境中，我们将使用不同的机器来托管主服务器和从服务器。在这里，我们将使用不同的端口在同一台机器上运行主和从Solr服务器。

我们首选的环境是Windows。在开始Solr安装之前，请确保已安装JDK并已正确设置Java_Home。

1.安装Apache Solr

首先，从以下位置下载最新版本的Apache Solr。

http://lucene.apache.org/solr/downloads.html

Apache Solr已经经历了从4.xx到5.0.0的各种更改，因此如果您有不同版本的Solr，则需要下载5.xx版本以遵循此示例。下载Solr zip文件后，将其解压缩到文件夹中。提取的文件夹将如下所示。

Solr文件夹

该bin文件夹中包含的脚本来启动和停止服务器。该example文件夹包含几个示例文件。我们将使用其中一个来演示复制的工作原理。该server文件夹包含logs ，所有的Solr的日志写入文件夹。在索引期间检查日志中的任何错误将是有帮助的。该solr下服务器文件夹包含不同的集合或核心。每个核/集合的配置和数据存储在相应的核/集合文件夹中。

Apache Solr附带了一个内置的Jetty服务器。但在我们启动solr实例之前，我们必须验证JAVA_HOME是否在机器上设置。

我们可以使用命令行脚本启动服务器。让我们从命令提示符转到bin目录并发出以下命令

solr start

这将在默认端口8983下启动Solr服务器。

我们现在可以在浏览器中打开以下URL，并验证我们的Solr实例正在运行。 solr管理工具的具体细节超出了示例的范围。

http://localhost:8983/solr/

Solr管理控制台

2.配置Solr - 主站

在本节中，我们将向您展示如何为Solr实例配置主内核。 Apache Solr附带一个名为Schemaless模式的选项。此选项允许用户构建有效的模式，而无需手动编辑模式文件。在这个例子中，我们将使用参考configset sample_techproducts_configs 。

2.1创建主Core

首先，我们需要创建一个用于索引数据的核心。 Solr create命令有以下选项：

-c <名称> -芯或集合的名称来创建（必需）。
-d <confdir> -配置目录，在SolrCloud模式是有用的。
-n <CONFIGNAME> -配置名称。此默认值与核心或集合的名称相同。
-p <端口> -本地Solr的实例的端口发送创建命令;默认情况下，脚本尝试通过查找正在运行的Solr实例来检测端口。
-s <碎片> -碎片的数量成，缺省值为1分割的集合。
-rf <复制品> -集合中的每个文件的副本的数量。默认值为1。

在本示例中，我们将使用-c参数作为核心名称，-rf参数用于复制，-d参数用于配置目录。

现在浏览solr-5.0.0\bin在命令窗口中的文件夹，并发出以下命令。

solr create -c master -d sample_techproducts_configs -p 8983 -rf 3

我们可以在命令窗口中看到以下输出。

 
   1<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">Creating new core'master' using command:</span>使用命令创建新核心'master'：</span>
 
   2<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">http://localhost:8983/solr/admin/cores?action=CREATE&name=master&instanceDi</span> http：// localhost：8983 / solr / admin / cores？action = CREATE＆name = master＆instanceDi</span>
 
   3<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">r=master</span> r = master</span>
 
   4 
 
   5<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">{</span> {</span>
 
   6 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"responseHeader":{</span> “responseHeader”：{</span>
 
   7 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"status":0,</span> “status”：0，</span>
 
   8 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"QTime":1563},</span> “QTime”：1563}，</span>
 
   9 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"core":"master"}</span> “core”：“master”}</span>

现在我们可以导航到以下URL，并看到主核心被填充在核心选择器中。您还可以查看核心的统计信息。

http://localhost:8983/solr/#/master

主控台

2.2修改solrconfig

打开文件solrconfig.xml的文件夹下， server\solr\master\conf和添加配置的requestHandler标签下的主。我们将设定值replicateAfter和backAfter来optimize 。在confFiles参数值是根据我们要创建从集合名称设置。

solrconfig.xml

 
   01<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><!-- Replication Handler --></span> <！ - 复制处理程序 - ></span>
 
   02<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><requestHandlername="/replication"class="solr.ReplicationHandler"></span> <requestHandlername =“/ replication”class =“solr.ReplicationHandler”></span>
 
   03<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><lstname="master"></span> <lstname =“master”></span>
 
   04<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="replicateAfter">optimize</str></span> <str name =“replicateAfter”> optimize </str></span>
 
   05<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="backupAfter">optimize</str></span> <strname =“backupAfter”> optimize </ str></span>
 
   06<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="confFiles">solrconfig_slave.xml:solrconfig.xml,x.xml,y.xml</str></span> <str name =“confFiles”> solrconfig_slave.xml：solrconfig.xml，x.xml，y.xml </str></span>
 
   07<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="commitReserveDuration">00:00:10</str></span> <str name =“commitReserveDuration”> 00:00:10 </str></span>
 
   08<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"></lst></span> </ lst></span> 
 
   09<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><intname="maxNumberOfBackups">2</int></span> <intname =“maxNumberOfBackups”> 2 </ int></span>
 
   10<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><lstname="invariants"></span> <lstname =“invariants”></span>
 
   11<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="maxWriteMBPerSec">16</str></span> <strname =“maxWriteMBPerSec”> 16 </ str></span>
 
   12<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"></lst></span> </ lst></span>
 
   13<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"></requestHandler></span> </ requestHandler></span>

既然我们已经修改了solrconfig我们必须重新启动Solr的服务器。发出在命令窗口输入下列命令导航到solr-5.0.0\bin 。

solr stop -all

solr start

3.配置Solr - 从站

对于这个例子，我们将创建两个从核。来自主机核心的数据将被复制到两个从机。我们将在具有不同端口的同一机器上与主核心一起运行两个从机。为此，请将另一个solr服务器副本提取到名为solr1的文件夹。导航到solr-5.0.0\bin solr1的文件夹中的命令窗口，并发出以下命令。

solr start -p 9000

-p选项将在不同的端口中启动solr服务器。对于第一个从机，我们将使用端口9000。
现在导航到solr-5.0.0\bin在命令窗口中的奴隶的文件夹，并发出以下命令。

solr create -c slave -d sample_techproducts_configs -p 9000

我们可以在命令窗口中看到以下输出。

 
   1<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">Creating new core'slave' using command:</span>使用命令创建新核心“slave”：</span>
 
   2<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">http://localhost:9000/solr/admin/cores?action=CREATE&name=slave&instanceDir=slave</span> http：// localhost：9000 / solr / admin / cores？action = CREATE＆name = slave＆instanceDir = slave</span>
 
   3 
 
   4<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">{</span> {</span>
 
   5 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"responseHeader":{</span> “responseHeader”：{</span>
 
   6 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"status":0,</span> “status”：0，</span>
 
   7 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"QTime":1778},</span> “QTime”：1778}，</span>
 
   8 <span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">"core":"slave"}</span> “core”：“slave”}</span>

现在打开文件solrconfig.xml的文件夹下， server\solr\slave\conf和添加配置的requestHandler标签下的奴隶。在配置上，我们将指向站对masterUrl进行复制。所述pollInterval被设定为20秒。它是从设备做出的两个轮询请求之间的时间差。

solrconfig.xml

 
   01<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><!-- Replication Handler --></span> <！ - 复制处理程序 - ></span>
 
   02<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><requestHandlername="/replication"class="solr.ReplicationHandler"></span> <requestHandlername =“/ replication”class =“solr.ReplicationHandler”></span>
 
   03<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><lstname="slave"></span> <lstname =“slave”></span>
 
   04<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><!--fully qualified url for the replication handler of master.</span> <！ -  master的复制处理程序的完全限定URL。</span> <span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">It is possible</span>有可能的</span>
 
   05<span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">to pass on this as</span>传递这个</span>
 
   06<span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">a request param for the fetchindex command--></span> fetchindex命令的请求参数 - ></span>
 
   07<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="masterUrl">http://localhost:8983/solr/master/replication</str></span> <str name =“masterUrl”> http：// localhost：8983 / solr / master / replication </str></span>
 
   08<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><!--Interval in which the slave should poll master .Format is HH:mm:ss .</span> <！ - 从机应轮询主机的间隔.Format为HH：mm：ss。</span> <span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">If</span>如果</span>
 
   09<span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">this is absent slave does not</span>这是没有奴隶不</span>
 
   10<span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">poll automatically.</span>自动轮询。</span>
 
   11<span class="notranslate" onmouseover="_tipon(this)" onmouseout="_tipoff()"><span class="google-src-text" style="direction: ltr; text-align: left">But a fetchindex can be triggered from the admin or the http API --></span>但fetchindex可以从admin或http API  - >触发</span>
 
   12<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"><strname="pollInterval">00:00:20</str></span> <str name =“pollInterval”> 00:00:20 </str></span>
 
   13<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"></lst></span> </ lst></span>
 
   14<spanclass="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><spanclass="google-src-text"style="direction: ltr; text-align: left"></requestHandler></span> </ requestHandler></span>

因为我们修改了solrconfig，我们必须重新启动solr服务器。发出在命令窗口输入下列命令导航到solr-5.0.0\bin 。

solr stop -all

solr start -p 9000

现在使用以下URL打开从控制台。复制部分将显示反映我们在solrconfig中进行的配置的配置。

http://localhost:9000/solr/#/slave/replication

slave-1复制控制台

要创建另一个从服务器，请执行相同的步骤，并在端口9001中配置服务器。我们现在可以使用以下URL打开控制台，并验证复制部分中的配置。

http://localhost:9001/solr/#/slave/replication

slave-2复制控制台

4.索引和复制

现在我们将索引指向主核心的示例数据。 Apache Solr附带一个名为SimplePostTool的独立Java程序。该程序打包成JAR，并提供与文件夹下的安装example\exampledocs 。

现在，我们定位到example\exampledocs文件夹在命令提示符处键入以下命令。您将看到一堆使用该工具的选项。

java -jar post.jar -h

正如我们前面所说，我们将索引solr安装附带的“books.csv”文件中的数据。我们将导航到solr-5.0.0\example\exampledocs在命令提示符并发出以下命令。

java -Dtype=text/csv -Durl=http://localhost:8983/solr/master/update -jar post.jar books.csv

这里使用的SystemProperties是：

-Dtype - 数据文件的类型。
-Durl - jcg核心的URL。

文件“books.csv”现在将被索引，并且命令提示符将显示以下输出。

 
   1<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">SimplePostTool version 5.0.0</span> SimplePostTool版本5.0.0</span>
 
   2<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">Posting files to [base] urlhttp://localhost:8983/solr/master/update using content-typetext/csv...</span>将文件发布到[base] url http：// localhost：8983 / solr / master / update使用content-typetext / csv ...</span>
 
   3<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">POSTingfile books.csv to [base]</span>将文件books.csv发布到[base]</span>
 
   4<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">1 files indexed.</span> 1个文件已索引。</span>
 
   5<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">COMMITting Solr index changes tohttp://localhost:8983/solr/master/update...</span>提交Solr索引更改为http：// localhost：8983 / solr / master / update ...</span>
 
   6<span class="notranslate"onmouseover="_tipon(this)"onmouseout="_tipoff()"><span class="google-src-text"style="direction: ltr; text-align: left">Time spent: 0:00:00.604</span>所用时间：0：00：00.604</span>