分布式solr-cloud之solr部署

最新推荐文章于 2018-05-27 01:15:00 发布
最新推荐文章于 2018-05-27 01:15:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： solr 文章标签： tomcat 集群 solr 分布式 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22929803/article/details/46710277
版权

准备：

solr-4.10.2.tgz

tomcat

三台虚拟机：

192.168.184.128 solr1
192.168.184.129 solr2
192.168.184.130 solr3

1：解压tomcat解压到/usr/local/solr-tomcat

2：解压 tar -zxvf solr-4.10.2.tgz

并且把 solr-4.10.2/example/webapps/solr.war 解压至 /usr/local/webapps/solr 目录下

并且把solr-4.10.2\example\lib\ext 下的 jar 包放到 solr\WEB-INF\lib 下 （这里主要是一些log4j的架包，还可以在solr\WEB-INF下创建一个class文件里面放log4配置文件这样就可以配置日志打印输出了）

以192.168.184.128 solr1为例创建文件夹

mkdir -p /usr/local/solrCloud/config-files
mkdir -p /usr/local/solrCloud/solr-lib

把 solr/WEB-INF/lib 下的所有 jar 包拷贝到/usr/local/solrCloud/solr-lib目录

cp -av /usr/local/webapps/solr/WEB-INF/lib*.jar /usr/local/solrCloud/solr-lib
solr/example/solr/collection1/conf 下的所有文件拷贝到 /usr/local/solrCloud/config-files 目录 

cp -av /usr/local/webapps/solr/example/solr/collection1/conf/* /usr/local/solrCloud/config-files

将 /usr/local/webapps/solr目录拷贝到 /usr/local/solr-tomcat/webapps/目录下面

cp -av /usr/local/webapps/solr /usr/local/solr-tomcat/webapps
</pre><pre name="code" class="plain"></pre></p><p>将 <span style="color: rgb(51, 51, 51); font-family: 'Open Sans', 'Helvetica Neue', Helvetica, Arial, STHeiti, 'Microsoft Yahei', sans-serif; font-size: 14px; line-height: 22.3999996185303px;">/usr/local/webapps/solr</span>目录拷贝到 /usr/local/solr-tomcat/webapps/目录下面<span style="font-family: 'Open Sans', 'Helvetica Neue', Helvetica, Arial, STHeiti, 'Microsoft Yahei', sans-serif; color: rgb(51, 51, 51);"><span style="font-size: 14px; line-height: 22.3999996185303px;"><span style="line-height: 22.3999996185303px;"></span></span></span></p><p></p><pre name="code" class="plain">cp -av /usr/local/webapps/solr /usr/local/solr-tomcat/webapps

创建/usr/local/solr-cores目录在该目录下创建solr.xml文件，该文件非常重要，以后是用来配置solrcore的

vim solr.xml 

内容如下

<?xml version="1.0" encoding="UTF-8" ?>  
<solr persistent="true">  
<logging enabled="true">  
<watcher size="100" threshold="INFO" />  
</logging>  
<cores defaultCoreName="collection1" adminPath="/admin/cores" host="${host:}" hostPort="8080" hostContext="${hostContext:solr}" zkClientTimeout="${zkClientTimeout:15000}">  
</cores>  
</solr>
创建/usr/local/solr-tomcat/conf/Catalina 目录 和 /usr/local/solr-tomcat/conf/Catalina/localhost 目录
在/usr/local/solr-tomcat/conf/Catalina/localhost目录下创建solr.xml, 此文件为 Solr/home 的配置文件

内容如下

<?xml version="1.0" encoding="UTF-8"?>  
<Context docBase="/usr/local/solr-tomcat/webapps/solr" debug="0" crossContext="true">  
<Environment name="solr/home" type="java.lang.String" value="/usr/local/solr-cores" override="true"/>  
</Context>
修改 tomcat/bin/cataina.sh ,加入以下内容 

JAVA_OPTS="$JAVA_OPTS -DzkHost=solr1:2181,solr2:2181,solr3:2181"
以上配置同步到另外两台服务器 

scp -r /usr/local/solr-bin/ root@solr2:/usr/local/
scp -r /usr/local/solr-conf/ root@solr2:/usr/local/
scp -r /usr/local/solrCloud/ root@solr2:/usr/local/
scp -r /usr/local/solr-cores/ root@solr2:/usr/local/
scp -r /usr/local/solr-tomcat/ root@sol2:/usr/local/

scp -r /usr/local/solr-bin/ root@solr3:/usr/local/
scp -r /usr/local/solr-conf/ root@solr3:/usr/local/
scp -r /usr/local/solrCloud/ root@solr3:/usr/local/
scp -r /usr/local/solr-cores/ root@solr3:/usr/local/
scp -r /usr/local/solr-tomcat/ root@solr3:/usr/local/
SolrCloud 是通过 ZooKeeper 集群来保证配置文件的变更及时同步到各个节点上，所以，需要将配置文件上传到 ZooKeeper 集群中：执行如下操作（以下ip均可使用域名进行操作） 
java -classpath .:/usr/local/solrCloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost solr1:2181,solr2:2181,solr3:2181 -confdir /usr/local/solrCloud/config-files/  -confname myconf
校验 zookeeper 的配置文件 

[root@hadoop1 bin]# /usr/local/zookeeper/bin/zkCli.sh -server solr1:2181
Connecting to solr1:2181
2015-07-01 15:04:44,509 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2015-07-01 15:04:44,518 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=<NA>
2015-07-01 15:04:44,518 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_31
2015-07-01 15:04:44,522 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2015-07-01 15:04:44,522 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/local/jdk/jdk1.8.0_31/jre
2015-07-01 15:04:44,525 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/local/zookeeper/bin/../build/classes:/usr/local/zookeeper/bin/../build/lib/*.jar:/usr/local/zookeeper/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper/bin/../lib/netty-3.7.0.Final.jar:/usr/local/zookeeper/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper/bin/../zookeeper-3.4.6.jar:/usr/local/zookeeper/bin/../src/java/lib/*.jar:/usr/local/zookeeper/bin/../conf:.:/usr/local/jdk/jdk1.8.0_31/lib/dt.jar:/usr/local/jdk/jdk1.8.0_31/lib/tools.jar
2015-07-01 15:04:44,526 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2015-07-01 15:04:44,526 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2015-07-01 15:04:44,526 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2015-07-01 15:04:44,527 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2015-07-01 15:04:44,527 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2015-07-01 15:04:44,527 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=2.6.32-504.el6.x86_64
2015-07-01 15:04:44,528 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2015-07-01 15:04:44,528 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2015-07-01 15:04:44,528 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/local/solr-tomcat/bin
2015-07-01 15:04:44,532 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=solr1:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@22d8cfe0
Welcome to ZooKeeper!
2015-07-01 15:04:44,607 [myid:] - INFO  [main-SendThread(solr1:2181):ClientCnxn$SendThread@975] - Opening socket connection to server solr1/192.168.184.128:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
[zk: solr1:2181(CONNECTING) 0] 2015-07-01 15:04:44,793 [myid:] - INFO  [main-SendThread(solr1:2181):ClientCnxn$SendThread@852] - Socket connection established to solr1/192.168.184.128:2181, initiating session
2015-07-01 15:04:44,812 [myid:] - INFO  [main-SendThread(solr1:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server solr1/192.168.184.128:2181, sessionid = 0x14e47ba8aa30002, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
ls /
[configs, zookeeper, overseer, aliases.json, live_nodes, collections, overseer_elect, clusterstate.json]
[zk: solr1:2181(CONNECTED) 1] ls /
[configs, zookeeper, overseer, aliases.json, live_nodes, collections, overseer_elect, clusterstate.json]
这里只要有configs, zookeeper文件即可

启动tomcat

分别在三台机子上运行

/usr/local/solr-tomcat/bin/startup.sh






创建 Collection 及初始 Shard

curl 'http://192.168.184.128:8080/solr/admin/collections?action=CREATE&name=collection2&instanceDir=collection2&numShards=3&replicationFactor=1'


最后写一个demo测试下solr吧 

import java.io.IOException;  
import java.util.ArrayList;  
import java.util.Collection;  

import org.apache.solr.client.solrj.SolrQuery;  
import org.apache.solr.client.solrj.SolrServer;  
import org.apache.solr.client.solrj.SolrServerException;  
import org.apache.solr.client.solrj.impl.CloudSolrServer;  
import org.apache.solr.client.solrj.response.QueryResponse;  
import org.apache.solr.common.SolrDocument;  
import org.apache.solr.common.SolrDocumentList;  
import org.apache.solr.common.SolrInputDocument;  
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;   

public class SolrCloudTest {        
        public static final Log LOG = LogFactory.getLog(SolrCloudTest.class);
        private static CloudSolrServer cloudSolrServer;    

        private  static synchronized CloudSolrServer getCloudSolrServer(final String zkHost) {    
         LOG.info("connect to :"+zkHost+"\n");
            if(cloudSolrServer == null) {    
                try {    
                    cloudSolrServer = new CloudSolrServer(zkHost);    
                }catch(Exception e) {    
                    e.printStackTrace();                    
                }    
            }                    
            return cloudSolrServer;    
        }    

        private void addIndex(SolrServer solrServer) {          
            try {
                   Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
                   for (int i = 0;i<=200;i++){
                            SolrInputDocument doc = new SolrInputDocument();
                            String key = "";
                            key = String.valueOf(i);
                            doc.addField("id", key);
                            doc.addField("test_s", key+"value");
                            docs.add(doc);                   
                   }     
                LOG.info("docs info:"+docs+"\n");
                solrServer.add(docs);               
                solrServer.commit();                    
            }catch(SolrServerException e) {    
                System.out.println("Add docs Exception !!!");    
                e.printStackTrace();            
            }catch(IOException e){    
                e.printStackTrace();    
            }catch (Exception e) {    
                System.out.println("Unknowned Exception!!!!!");    
                e.printStackTrace();    
            }                          
        }                         

        public void search(SolrServer solrServer, String Str) {          
            SolrQuery query = new SolrQuery();
            query.setRows(20);
            query.setQuery(Str);    
            try {  
                   LOG.info("query string: "+ Str);
                   System.out.println("query string: "+ Str);
                QueryResponse response = solrServer.query(query);    
                SolrDocumentList docs = response.getResults();
                System.out.println(docs);
                System.out.println(docs.size());
                System.out.println("doc num:" + docs.getNumFound());    
                System.out.println("elapse time:" + response.getQTime());            
                for (SolrDocument doc : docs) {    
                    String area = (String) doc.getFieldValue("test_s");    
                    String id = (String) doc.getFieldValue("id");    
                    System.out.println("id: " + id);    
                    System.out.println("tt_s: " + area);    
                    System.out.println();    
                }    
            } catch (SolrServerException e) {    
                e.printStackTrace();    
            } catch(Exception e) {    
                e.printStackTrace();    
            }    
        } 

        public static void main(String[] args) {      
                final String zkHost = "192.168.184.128:2181";         
                final String  defaultCollection = "collection2";    
                final int  zkClientTimeout = 10000;    
                final int zkConnectTimeout = 10000;                      
                CloudSolrServer cloudSolrServer = getCloudSolrServer(zkHost);                     
                cloudSolrServer.setDefaultCollection(defaultCollection);    
                cloudSolrServer.setZkClientTimeout(zkClientTimeout);    
                cloudSolrServer.setZkConnectTimeout(zkConnectTimeout); 
                try{
                   cloudSolrServer.connect();
                    System.out.println("connect solr cloud zk sucess");                 
                } catch (Exception e){    
                   LOG.error("connect to collection "+defaultCollection+" error\n");
                   System.out.println("error message is:"+e);
                   e.printStackTrace();
                   System.exit(1);
                }
                SolrCloudTest solrt = new SolrCloudTest();
                try{
                   solrt.addIndex(cloudSolrServer);
                } catch(Exception e){
                   e.printStackTrace();
                }
                solrt.search(cloudSolrServer, "id:*");            ;   
                cloudSolrServer.shutdown();            
        }          
    }


成功插入数据

该文章参考http://segmentfault.com/a/1190000000595712了


代码菜鸟旺仔
关注
专栏目录
solrcloud集群搭建
韩梦飞沙_韩亚飞
03-18 316
  1      什么是SolrCloud 1.1    什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。  1.2    SolrCloud结...
solr-cloud(solr集群)（CentOS 7+tomcat 8.5+Zookeeper+Solr 7.4）搭建
zackwang2006的博客
02-19 282
一、SolrCloud介绍：(图片转存失败，后面我会陆续上传的) SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。 SolrCloud是基于Solr...
Solr 分布式部署
dowhathowtodo
04-15 192
SOLR复制模式，是一种在分布式环境下用于同步主从服务器的一种实现方式，因之前提到的基于rsync的SOLR不同方式部署成本过高，被SOLR1.4版本所替换，取而代之的就是基于HTTP协议的索引文件传输机制，该方式部署简单，只需配置一个文件即可。 以下讲解具体操作步骤： 步骤分主服务器和从服务器，允许有多个从服务器，即从服务器的配置一样。 主服务器： ...
实战： SOLR的分布式部署（复制）CollectionDistribute 快照分发 （精简版）
03-19 129
SOLR复制模式，是一种在分布式环境下用于同步主从服务器的一种实现方式，因之前提到的基于rsync的SOLR不同方式部署成本过高，被SOLR1.4版本所替换，取而代之的就是基于HTTP协议的索引文件传输机制，该方式部署简单，只需配置一个文件即可。 以下讲解具体操作步骤： 步骤分主服务器和从服务器，允许有多个从服务器，即从服务器的配置一样。 主服务器： 在s...
solr 分布式(复制)配置
clbchenlb的专栏
07-04 205
    solr 分布式其实是分发，这概念像Mysql的复制。所有的索引的改变都在主服务器里，所有的查询都在从服务里。从服务器不断地(定时)从主服务器拉内容，以保持数据一致。先描述下我的环境：solr-master(192.168.1.181), solr-slave(192.168.1.155), jdke1.6.0_06, tomcat-5.5.26, solr-1.2 tomcat_home...
Solr系列二：solr-部署详解（solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解）...
weixin_34235457的博客
05-27 441
一、solr两种部署模式介绍 Standalone Server 独立服务器模式：适用于数据规模不大的场景 SolrCloud  分布式集群模式：适用于数据规模大，高可靠、高可用、高并发的场景 二、独立服务器模式详解 1. 独立服务器模式架构 说明： 1、每个solr服务器实例（启动的一个solr服务器进程）都有一个solr主目录（系统变量名为：solr.solr.home）。启动服务器实例时须...
最新版windows solr-8.8.2.zip
04-14
此压缩包“最新版windows solr-8.8.2.zip”包含了Windows环境下Solr的最新版本8.8.2的所有组件和配置文件。 在Solr 8.8.2中，用户可以期待以下关键知识点： 1. **分布式搜索**：Solr支持在多台服务器上分布式部署...
最新版linux solr-8.8.1.tgz
02-25
在 Linux 上安装 Solr 8.8.1 的第一步是下载发布的 tgz 文件，即 "solr-8.8.1.tgz"。你可以通过命令行工具如 wget 或 curl 下载： ```bash wget https://downloads.apache.org/solr/8.8.1/solr-8.8.1.tgz # 或者 ...
最新版windows solr-8.10.0.zip
10-02
4. **Cloud模式**：Solr 8.10.0支持SolrCloud模式，这是一种分布式搜索和索引存储的解决方案。用户可以将多个Solr节点组成一个集群，实现数据的自动复制和负载均衡，以提高可用性和扩展性。 5. **JSON支持**：Solr ...
最新版linux solr-8.8.0.tgz
02-03
9. **分布式搜索**：Solr 8.8.0支持SolrCloud模式，允许在分布式环境中部署和管理Solr，提供高可用性和水平扩展性。集群中的Solr节点可以共享索引并协同工作，实现负载均衡和故障恢复。 10. **新特性**：Solr 8.8.0...
solrcloud部署文档.pdf
08-13
本文档是介绍在centos7系统上部署solrcloud的过程，涉及的技术包括：部署zookeeper、使用solr默认的jetty服务器初始化solrcloud、使用zookeeper管理solrcloud配置文件、在linux系统上安装python3、通过python3操作solrcloud、配置solr的hanlp分词。
solr 分布式参考
06-05
solr 分布式参考项目 只是其中一部分
solr 分布式部署
12-12
solr 分布式 部署，介绍了Solr的分布式部署的需求，步骤，配置、执行分发脚本等。
SOLR的分布式部署
rongdmmap的博客
03-14 125
转载：http://blog.sina.com.cn/s/blog_56fd58ab0100vwmh.html   SOLR的分布式部署  (2011-12-07 13:03:49) 转载▼ 标签：  solr   分布式部署   it 分类： 架构与开发 需求： 实现SOLR主，辅服务器更新同步，每次客户端COMMIT请求都...
solr的分布式部署
Feythin Lau
11-03 134
[size=medium]需求： 实现SOLR主，辅服务器更新同步，每次客户端COMMIT请求都会及时应用在辅服务器上。 实现MULTICORE，实际生产环境中往往会有多个搜索应用实例。 步骤： 一、 准备条件 服务器准备 准备两台服务器： 一台用作主服务器（192.168.0.36），负责分发索引 另一台负责辅...
solrcloud 部署方式比较
xiatianba的专栏
09-16 157
solrcloud 的部署其实有两种方式可选，那么我们在实践开发中应该怎样选择呢？ 第一种：当启动solr服务器时，内嵌的启动一个Zookeeper服务器，然后将这些内嵌的Zookeeper服务器组成一个集群。  第二种：将Zookeeper服务器独立的配置一个集群，然后将solr交给Zookeeper进行管理   谈谈第一种：每启动一个solr服务器就内嵌的启动一个Zookeeper...
solr 简单的分布式布署
搜索引擎、个性化推荐、大数据相关学习笔记|
03-24 3003
1）首先在${tomcat目录}/conf/Catalina/localhost 创建两个solr的配置文件。   可以命名为solr.xml（主服务器配置）内容为：             slaver_solr.xml (从服务器配置)内容为：              可以看到两个配置所引用的后台管理是同一个目录的，但这个没关系，只要solr/home
SolrCloud 分布式集群安装部署（solr+ zookeeper +tomcat）
likemebee的博客
10-21 716
第一部分：初始化环境安装软件包版本号：服务器(虚拟机 )准备：虚拟机准备传送门分别在mini4、mini5、mini6上 建立3个文件夹：software目录:software目录是用来存放软件安装包 servers目录：servers目录用来用来安装软件 data目录：data目录用来存放软件运行的数据、日志 然后分别在mini4、mini5、mini6里键入：vi /etc/hosts 修
实战： SOLR的分布式部署（复制模式 CollectionDistribute）部署流程详解 （二）
thundersssss的专栏
12-29 5991
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;text-align:center;mso-pagination:widow-orphan;mso-outline-level:1" align="center"> <p class="MsoNormal" style="mso-
Solr云技术：分布式搜索与复制
"Solr-in-the-Cloud：马克·米勒的演讲内容，涵盖了Solr的复制与分布式处理，以及SolrCloud的引入及其目标" 在技术文档"Solr-in-the-Cloud"中，作者马克·米勒探讨了Apache Solr在云环境中的应用和扩展能力。Solr是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值