mysql集群 solr_Solr单机部署和集群部署

用到的相关jar包:http://pan.baidu.com/disk/home#list/path=%2Fsolr

Solr目录结构

Solr 目录

Contrib :solr 为了增强自身的功能，所添加的扩展依赖包。

Dilst:solr build 过程时产生的jar包和war包，还有他的一些依赖包。

Docs： 文档。

Example： 例子

Solr：配置了solr运行至的信息，是一个标准的solrhome目录。

Collection1：solrcore目录

Data： 该目录是储存了索引的目录。

Multicore：可以配置多个solr实例。

Webapps： solr.war的目录

Licenses ：版本

Solrhome

从example中copy出solr到新的一个目录，这就是一个solrhome了，可以改名。C:\QQDownload\Solrs\solr1\solrhome

Solrhome是一个目录，是solr运行的主目录，它包括多个solrcore目录。Solrcore目录中就是solr实例的运行配置文件和数据文件。

Solr容器

Solr部署到tomcat。

Solr需要运行在一个servlet容器，它默认提供了一个jetty容器。

把solrhome下webapps的solr.war复制到tomcat下的webapps目录下，解压并删除该war包。

添加solr依赖包，从目录solr-4.9.0\example\lib\ext 复制到 Tomcat 6.0-solr\webapps\solr\WEB-INF\lib

把solr-4.9.0 下的dist和contrib复制到solrhome\collection1\conf 下solrconfig.xml 中配置的相应路径中

依赖包有log4j，需要添加lofg4j的配置文件solr-4.9.0\example\resources 到 Tomcat 6.0-solr\webapps\solr\WEB-INF\classes(该文件夹需手动添加)。

添加sorl和tomcat的关联编辑 Tomcat 6.0-solr\webapps\solr\WEB-INF下的web.xml

添加映射关系，指定solrhome ： C:\QQDownload\Solrs\solr1\solrhome

启动tomcat 看是否有错误。

遇到了solrconf.xml 的路径不对的问题，

 修改dir 路径并从solr中复制contrilb和dlist目录到相应的位置

Solr功能界面

分词器是需要配置的。

可以操作索引。 在solr中，修改或添加索引 都需要id主键。

配置多solrcore

多solrcore 配置：

Collection1，collection2

一个solr工程，配置多个solrcore 每个solrcore之间是相互独立的，可以单独对外提供服务。

类似于数据库，一个数据库可以后多个实例，如果有新需求，可以直接扩展。

多solrcore在管理索引文件时，可以进行分类管理。

使用solrcloud solr集群， 必须要建立多个solrcore。

复制solrhome下的collection1 到本目录下，改名为collection2.

修改collection2下的core.properties 修改为collection2 就ok了。

重启tomcat。

ok。两个solrcore 互相是独立的。

Schema.xml

Solr 基本使用

C:\QQDownload\Solrs\solr1\solrhome\collection1\conf

Schema.xml 文件在solrcore中的conf目录下，这个文件主要是配置域名及域的类型。

Solr 的域要先定义，后使用。

Name：域名

Type：域的类型(也需要配置)

Indexed：是否索引

Stored：是否存储

Required：是否必须一般id才设置。

multiValued：是否可以多值。如果设置为多值，里面的值就采用数组方式存储。

配置动态域

Name：域名，该域通过一个正则指定。

id

指定一个主键域。每个文档中都应该有个唯一主键。

复制域

Source ：源域

Dest：目标域   把源域的内容复制到目标域，目标域必须设置 multiValued="true"

fieldType 配置域的类型

Name：域的类型的名称 引用该类型时： type=” text_general”

Class：指定solr的类型

Analyzer：配置分词器 type:index,query 索引，查询分词器

Tokenizer ：分词器

Filter ：过滤器

配置中文分词器IkAnalyzer

使用IkAnalyzer中文分词器

把IkAnalyzer2012ff_u1.jar添加到tomcat下的 web-inf/lib目录下

tomcat-6.0.35\apache-tomcat-6.0.35-solr\webapps\solr\WEB-INF\lib

复制IkAnalyzer的配置文件和自定义词典和停用词典到sorl的classpath下

Copy到apache-tomcat-6.0.35-solr\webapps\solr\WEB-INF\classes下

配置fieldtype 指定使用中文分词器。

打开C:\QQDownload\Solrs\solr1\solrhome\collection1\conf下的 scheme.xml文件

配置filed，使用中文分词器的filedtype。

业务域

Id是主键，由于collection1的scheme已经有主键了。

Dataimporthandler 插件

把数据从关系数据库中查询并导入到索引库中。

solr-4.9.0\dist\ solr-dataimporthandler-4.9.0.jar

复制到

Solrs\solr1\contrib\dataimporthandler\lib

下载mysql-connector-java-5.1.7-bin

Mysql数据驱动包拷贝到

Solrs\solr1\contrib\db\lib 下，没有的目录需要手动新建

配置dataimporthandler

在目录\Solrs\solr1\solrhome\collection1\conf下创建data-config.xml文件。

如果是链接sqlserver 注意配置sql和mysql的jdbc驱动，在同一个文件夹下  默认的就使用了mysql 的驱动。

看取到的数据和生成索引的数据数量是否一致，可以查看日志。

Solrj代码操作solr索引 .net solrnet

添加solrj的jar包 ，

路径 \Solrs\solr1\dist\solrj-lib 下的是solrj的依赖包

新加Javaproject，添加相应的solrj对应的包。

把\solr-4.9.0\example\lib\ext 目录下的jar包也添加进项目

代码实现

添加，修改索引。

注意：solr中添加修改索引必须要有主键，主键已经存在就修改，不存在就添加。

删除索引

可以看到有多种删除方法。

已经成功删除

Solrj搜索

可以看到界面实现和代码实现差别不大。

Solr服务器

应用

数据库

SolrCloud 集群搭建

Zookeeper 管理和维护SolrCloud集群

1.安装java环境

把集群需要的文件上传到虚拟机

1.安装centos

2.安装java 虚拟机

3.安装zookeeper 保证是基数节点，最少3个节点。

解压 tar -zxf zookeeper-3.4.6.tar.gz

4.配置zookeeper

在zookeeper1文件夹下 创建data文件夹

在data文件夹下创建myid文件 写入1. echo  1>>data/myid

以此类推，另外几个节点也同样配置。

创建配置文件。在conf文件夹下 zoo_sample.cfg 复制后改名 cp zoo_sample.cfg  zoo.cfg，然后编辑vim zoo.cfg。编辑datadir节点dataDir=/user/local/solrcloud/zookerper1/data .

这里注意clientport节点，同一个机器不要重复了端口号。

添加server.1节点 server.1=1912.168.80.128:2881:3881

每个zookeeper节点都要有这个配置。

Clientport 是zookeeper对外提供服务的端口 2881 是zookeeper服务器内部通信的端口，3881是zookeeper投票的端口，不能重复。

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/tmp/zookeeper

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

"zoo.cfg" 28L, 922C1,1          顶端

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/user/local/solrcloud/zookerper1/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=1912.168.80.128:2881:3881

server.2=1912.168.80.128:2882:3882

server.3=1912.168.80.128:2883:3883

"zoo.cfg" 31L, 1050C 已写入

依次配置好zookeeper2，zookeeper3

5.启动zookeeper

Bin文件夹下内容

创建批量启动文件

也可以单个启动。

添加新建启动文件的执行属性。

6.查看zookeeper状态

./zkServer.sh status

Error contacting service. It is probably not running. 错误 查看zookeeper.out日志，分析错误原因。

添加了 批量启动和查看状态的执行文件

启动成功。

配置搭建solr

一定要注意jar包的版本

主要修改的配置文件：

1.tomcat1/conf/server.xml  如果是同一台服务器就需要修改端口，防止冲突。单台可以使用默认设置。

2.tomcat1/webapps/solr/WEB-INF/web.xml –修改配置solrhome的位置

3.solrhome1/collection1/solrconfig.xml 主要是修改指定dist和contrib目录和后续的插件jar包的路径

solrhome是从solr-4.10.3包下的/example/solr 目录复制的

tomcat 下webapps下的solr 是 solr-4.10.3下/example/solr下webapps的solr.war 解压出来的

安装配置tomcat

[root@supercentos1 download]# tar -zxf apache-tomcat-7.0.39.tar.gz安装tomcat

[root@supercentos1 download]# mv apache-tomcat-7.0.39 /user/local/solrcloud/tomcat/tomcat1

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat2 复制出来3个tomcat

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat3

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat4

[root@supercentos1 tomcat]# vim tomcat1/conf/server.xml 修改各个tomcat端口配置

安装配置solr

[root@supercentos1 download]# tar -zxf solr-4.10.3.tgz.tgz 解压

复制solr-4.10.3/example/solr 复制到solrcloud下的solr文件夹下新建solrhome。

把solrhome下webapps的solr.war复制到tomcat下的webapps目录下，解压并删除该war包。

[root@supercentos1 solr-4.10.3]# cp example/webapps/solr.war / user/local/solrcloud/tomcat/tomcat1/webapps/

[root@supercentos1 solr-4.10.3]# cd/user/local/solrcloud/tomcat/tomcat1/webapps/

unzip  -oq solr.war-d solr

rm solr.war

解压后删除：

添加tomcat下solr依赖包

从目录 solr-4.10.3\example\lib\ext 复制到Tomcat1\webapps\solr\WEB-INF\lib 下

cp -rf example/lib/ext/*.jar  /user/local/solrcloud/tomcat/tomcat1/webapps/solr/WEB-INF/lib

依赖包有log4j，需要添加lofg4j的配置文件solr-4.9.0\example\resources 到 Tomcat 6.0-solr\webapps\solr\WEB-INF\classes(该文件夹需手动添加)。

[root@supercentos1 solr-4.10.3]# cp -rf example/resources/log4j.properties/user/local/solrcloud/tomcat/tomcat1/webapps/solr/WEB-INF/classes/

然后把tomcat1下webapps下的sorl文件夹复制到每个tomcat目录下。

复制相应个数的solr和tomcat， 每个sorl都对应一个tomcat容器。

[root@supercentos1 download]# cp -r  /user/local/solrcloud/tomcat/tomcat1/webapps/solr  /user/local/solrcloud/tomcat/tomcat2/webapps/

修改tomcat下sorl工程web.xml文件

vim tomcat/tomcat1/webapps/solr/WEB-INF/web.xml 2，3，4也同样的步骤修改就行了

[root@supercentos1 solrcloud]# tomcat/tomcat1/bin/startup.sh 启动tomcat1

Solrhome配置

把solr-4.9.0 下的dist和contrib复制到 solrhome\collection1\conf 下solrconfig.xml 中配置的相应路径中

[root@supercentos1 solr-4.10.3]# cp -rf  contrib /user/local/solrcloud/solr/  这个需要在配置文件里配置，看是否对应

[root@supercentos1 solr-4.10.3]# cp -rf  dist  /user/local/solrcloud/solr/

Vim solrhome1/collection1/solrconfig.xml

集群搭建

主要修改solrhome下的solr.xml，关联tomcat的ip和对应端口号。

修改tomcat下的bin目录下的catalina.sh。关联zookerper服务器地址和端口。

1.修改solrhome下的solr.xml配置文件

2.使用zookeeper统一管理配置文件。需要把solrhome下的collection1下的conf文件夹上传到zookeeper。

3.执行/root/download/solr-4.10.3/example/scripts/cloud-scripts 下的

./zkcli.sh  -zkhost 192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183 -cmd upconfig -confdir  /user/local/solrcloud/solr/solrhome1/collection1/conf -confname myconf

./zkcli.sh  -zkhost(zookeeper服务器)  192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183(zookeeper配置的服务器IP:clientProt) -cmd upconfig -confdir /user/local/solrcloud/solr/solrhome1/collection1/conf(管理的文件目录) -confname myconf(zookeeper管理别名)

4.执行/zookerper1/bin/zkCli.sh 链接到zookerper1

看到文件都传上了

5.关联zookerper和每一台solr。.告诉solr服务zookerper的位置

修改solr的tomcat下的bin目录下的catalina.sh文件，加入DzkHost 指定zookerper服务器的地址：vim tomcat1/bin/catalina.sh

添加

JAVA_OPTS="-DzkHost=192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183"

同样的修改各个solr的tomcat服务器。

6.重新启动tomcat ，zookerper。

7.集群配置成功，这里只是单片

出现这个错误就看下solrhome下的solr.xml的ip和端口是否正确了, catalina.sh文件是不是手抖改错地方了，坑爹的。。最好是配完一台后直接复制粘贴的靠谱。

创建有两片的collection

http://192.168.80.128:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

删除collection

http://192.168.80.128:8080/solr/admin/collections?action=DELETE&name=collection1

Dataimport插件

需要在每个节点都配置下，修改solrconfig.xml，把solrconfig.xml文件上传到zookerper。

把单机版的solrhome/collection1下的conf拷到本地下collection2_shard2_replica1 下。

上传到zookerper 覆盖原来的那个配置。

把dataimporthandler相关的jar包，和数据库mysql或者sqlserver的驱动包放到相应的位置，配置solrconfig.xml。因为我这个是放到了solrhome公用的目录下了，不用每个solrhome都配置了，要是多服务器就需要每台服务器都配置了。

执行/root/download/solr-4.10.3/example/scripts/cloud-scripts 下的

./zkcli.sh  -zkhost 192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183 -cmd upconfig -confdir  /user/local/solrcloud/solr/solrhome1/collection2_shard2_replica1/conf -confname myconf

配置中文分词器IkAnalyzer

重启tomcat

使用Solrj查询

String zkHost = "192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183";// zookerper地址

CloudSolrServer cloudSolrServer = new CloudSolrServer(zkHost);

// 指定默认链接的collection

cloudSolrServer.setDefaultCollection("collection2");

/// 设置查询条件

SolrQuery qSolrQuery = new SolrQuery();

// 跟上面一样，省略

QueryResponse cloudResponse = cloudSolrServer.query(qSolrQuery);

// 跟单机查询一样，省略。。

增删改查跟单机版的都一样

Solr tomcat zookeeper目录结构

Download 资源

/user/local/solrcloud/zookerper1,2,3

/user/local.solrcloud/tomcat/tomcat1,2,3,4

/user/local.solrcloud/solr/solr1,2,3,4