solr集群搭建

最新推荐文章于 2024-08-13 17:22:16 发布

祗要习惯就好

最新推荐文章于 2024-08-13 17:22:16 发布

阅读量305

点赞数

分类专栏： solr 文章标签： solr 集群 zookeeper

本文链接：https://blog.csdn.net/chukun123/article/details/78391757

版权

solr 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

SolrCloud搭建

1.环境准备:

CentOS-6.5-i386-bin-DVD1.iso
jdk-7u72-linux-i586.tar.gz
apache-tomcat-7.0.57.tar.gz
zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz

2.服务器6台:

zookeeper三台：192.168.1.141，192.168.1.142，192.168.1.143
Solr三台：192.168.1.151，192.168.1.152，192.168.1.153

2.1环境安装

这里就不对centos与jdk的安装做介绍了，详细参考网上centos与jdk安装的教程

2.2安装zookeeper集群

2.2.1解压zookeeper 安装包

tar -zxvf zookeeper-3.4.6.tar.gz

将zookeeper-3.4.6拷贝到/usr/local下并将目录名改为zookeeper
至此zookeeper的安装目录为/usr/local/zookeeper

2.2.2进入zookeeper文件夹,创建data 和logs

拷贝zookeeper配制文件zoo_sample.cfg并重命名zoo.cfg

cp /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper /conf/zoo.cfg

2.2.3 修改zoo.cfg

加入 
     dataDir=/usr/local/zookeeper/data
     dataLogDir=/ usr/local/zookeeper/logss
     server.1=192.168.1.141:2888:3888
     server.2=192.168.1.142:2888:3888
     server.3=192.168.1.143:2888:3888

zoo.cfg配制完后如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#dataLogDir=/usr/local/zookeeper/logs
server.1=192.168.1.141:2888:3888
server.2=192.168.1.142:2888:3888
server.3=192.168.2.143:2888:3888

2.2.4 进入data文件夹建立对应的myid文件

例如
server.1为192.168.1.142则 data文件夹下的myid文件内容为1
server.2为192.168.1.143则 data文件夹下的myid文件内容为2
依此类推.......

2.2.5 拷贝zookeeper文件夹到其他机器(192.168.1.142和192.168.1.143)

scp /usr/local/zookeeper root@192.168.1.142:/usr/local/
scp /usr/local/zookeeper root@192.168.1.143:/usr/local/

2.2.6开启zookeeper的端口

/sbin/iptables -I INPUT -p tcp --dport 2181 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 2888 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 3888 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT   --这里开启tomcat 8080端口

/etc/rc.d/init.d/iptables save #将更改进行保存
/etc/init.d/iptables restart #重启防火墙以便改动生效

2.2.6启动三台服务器的zookeeper

进入/usr/local/zookeeper /bin
./zkServer.sh start
查看集群状态
./zkServer.sh status   
刚启动可能会有错误，集群中其他节点一并起来后就正常了

2.3tomcat安装

将apache-tomcat-7.0.57.tar.gz拷贝到/usr/local下并解压
cd /usr/local
tar -zxvf apache-tomcat-7.0.57.tar.gz

2.4solr单机安装
2.4.1解压solr

在其中一台服务器上解压solr.4.10.3.tgz，
将solr.4.10.3.tgz拷贝到/usr/local下，
解压缩：
tar -zxvf solr-4.10.3.tgz
压缩后在/usr/local下有 solr-4.10.3目录

2.4.2.solrhome

在/home下创建solr作为solrhome 并赋于读写权限

2.4.3部署solr

参考前面 solrwindow单机版搭建

启动tomcat 访问 http://192.168.1.151:8080/solr 如图，至此单机版solr配制完成

这里写图片描述

2.5solrCloud部署

2.5.1启动zookeeper

solrCloud部署依赖zookeeper，需要先启动每一台zookeeper服务器。

2.5.2zookeeper管理配置文件

由于zookeeper统一管理solr的配置文件（主要是schema.xml、solrconfig.xml）， solrCloud各各节点使用zookeeper管理的配置文件。

将上边部署的solr单机的conf拷贝到/home/solr下。
执行下边的命令将/home/solr/conf下的配置文件上传到zookeeper：

sh /usr/local/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.1.141:2181,192.168.1.142:2181,192.168.1.143:2181 -cmd upconfig -confdir /usr/local/solr-4.10.3/example/solr/collection1/conf -confname myconf

登陆zookeeper服务器查询配置文件：

cd /usr/local/zookeeper/bin/
./zkCli.sh

这里写图片描述

2.5.3修改SolrCloud监控端口为8080：

修改每个solr的/home/solr/solrhome/solr.xml文件。
这里写图片描述

2.5.4 每一台solr和zookeeper关联

修改每一台solr的tomcat 的 bin目录下catalina.sh文件中加入DzkHost指定zookeeper服务器地址：

JAVA_OPTS="-DzkHost=192.168.1.141:2181,192.168.1.142:2181,192.168.1.143:2181"

这里写图片描述

2.6启动所有的solr服务

启动每一台solr的tomcat服务。

2.7访问solrcloud

访问任意一台solr，左侧菜单出现Cloud：

这里写图片描述

2.9SolrCloud集群配置

上图中的collection1集群只有一片，可以通过下边的方法配置新的集群

创建新集群collection2，将集群分为两片，每片两个副本。
http://192.168.1.151:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

这里写图片描述

删除集群命令；

http://192.168.1.151:8080/solr/admin/collections?action=DELETE&name=collection1
执行后原来的collection1删除，如下：

这里写图片描述

2.10启动solrCloud注意

启动solrCloud需要先启动solrCloud依赖的所有zookeeper服务器，再启动每台solr服务器

3SolrCloud测试

创建索引：
测试1：在一台solr上创建索引，从其它solr服务上可以查询到。
测试2：一次创建100个文档甚至更多，通过观察每个solr的core下边都有索引文档，说明索引文档是分片存储。

查询索引：
从任意一台Solr上查询索引，返回一个完整的结果，说明查询请求从不同的分片上获取数据，最终返回集群上所有匹配的结果。

4solrJ访问solrCloud

public class SolrCloudTest {

    //zookeeper地址
    private static String zkHosts = "192.168.1.141:2181,192.168.1.142:2181,192.168.1.143:2181";

    //collection默认名称，
    //比如我的solr服务器上的collection是collection2_shard1_replica1，
    //就是去掉“_shard1_replica1”的名称
    private static String defaultCollection = "collection1";
    //设置客户端连接超时时间
    private static int zkClientTimeOut=3000;

    //设置zookeeper连接超时时间
    private static int zkConnectionTimeOut=3000;

    //声明CloudSolrServer
    private CloudSolrServer cloudSolrServer;

    @Before
    public void init(){
        cloudSolrServer = new CloudSolrServer(zkHosts);
        cloudSolrServer.setDefaultCollection(defaultCollection);
        cloudSolrServer.setZkClientTimeout(zkClientTimeOut);
        cloudSolrServer.setZkConnectTimeout(zkConnectionTimeOut);

        cloudSolrServer.connect();
    }

    //在solrCloud上建立索引
    @Test
    public void testCreateIndexToSolrCloud() throws SolrServerException, IOException{
        SolrInputDocument document = new SolrInputDocument();
        document.addField("id", 1001);
        document.addField("title", "test");
        cloudSolrServer.add(document);
        cloudSolrServer.commit();
    }

    //搜寻索引
    @Test
    public void testSearchInSolrCloud(){
        SolrQuery query = new SolrQuery();
        query.setQuery("*:*");

        try {
            QueryResponse response = cloudSolrServer.query(query);
            SolrDocumentList results = response.getResults();

            System.out.println("文件个数: "+results.getNumFound());

            System.out.println("查询时间: "+response.getQTime());

            for (SolrDocument doc : results) {

                @SuppressWarnings("rawtypes")
                ArrayList title = (ArrayList) doc.getFieldValue("title");

                String id = (String) doc.getFieldValue("id");

                System.out.println("id: "+id);

                System.out.println("title: "+title);

                System.out.println();
            }
        } catch (SolrServerException e) {
            e.printStackTrace();
        }

    }

    //删除索引
    @Test
    public void deleteIndexOnSolrCloud() throws SolrServerException, IOException{
        //根据id删除
        @SuppressWarnings("unused")
        UpdateResponse response = cloudSolrServer.deleteById("zhangsan");

        //根据多个id删除
        //cloudSolrServer.deleteById(ids);

        //根据查询条件删除
        //cloudSolrServer.deleteByQuery("product_key:教程");

        //提交
        cloudSolrServer.commit();

    }

}