hbase基于solr的实时索引

实时查询方案

Hbase  ----->  Key Value Store  ---> Solr ------->Web前端实时查询展示

1.Hbase 提供海量数据存储

2.Solr提供索引构建与查询

3. Key Value Store 提供自动化索引构建(从Hbase到Solr)

使用流程

前提: CDH5.3.2Solr集群搭建好,CDH5.3.2 Key-Value StoreIndexer集群搭建好

 

1.开启Hbase的复制功能

2. Hbase表需要开启REPLICATION复制功能

create 'table',{NAME => 'cf', REPLICATION_SCOPE => 1} #其中1表示开启replication功能，0表示不开启，默认为0

对于已经创建的表可以使用如下命令

disable 'table'  alter 'table',{NAME => 'cf', REPLICATION_SCOPE => 1}  enable 'table'

 

3. 生成实体配置文件, /opt/hbase-indexer/Test是自定义路径，可以自己设置

solrctl instancedir --generate  /opt/cdhsolr/waslog

 

4.编辑生成好的scheme.xml文件

把hbase表中需要索引的列添加到scheme.xml filed节点

 

5.创建collection实例并配置文件上传到zookeeper，命令

solrctl instancedir --create waslog  /opt/cdhsor/waslog

6.上传到zookeeper之后，其他节点就可以从zookeeper下载配置文件。接下来创建collection，命令：

solrctl collection –create  waslog  -s  15 –r 2 –m 50

7 在一个目录创建一个xml文件，该文件确定solr和hbase的关系，示例如下

<?xml version="1.0" encoding="UTF-8"?>
<indexer table="pucentp_solr">
    <field name="entpname" value="cf:entpname" />
    <field name="address" value="cf:address" />
    <field name="policyname" value="cf:policyname" />
    <field name="policytel" value="cf:policytel" />
    <field name="createtime" value="cf:createtime" />
    <field name="updatetime" value="cf:updatetime" />
</indexer>

Table对应hbase表，fieldname对应solr里的索引字段 value是由列簇：列组成

8 在hbase-solr目录下的bin目录下执行hbase-indexer（cd /opt/cloudera/parcels/CDH-5.8.2-1.cdh5.8.2.p0.3/bin）

./hbase-indexeradd-indexer -n myindexer -c /home/test/index/mapper.xml -cpsolr.zk=master:2181,slaver1:2181,slaver2:2181/solr -cp solr.collection=waslog-z master:2181,slaver1:2181,slaver2:2181

 

添加拼音分词

 

 添加 pinyin4j-2.5.0​.jar  lucene-analyzers-smartcn-4.10.3.jar 到/opt/cloudera/parcels/CDH/lib/solr/webapps/solr/WEB-INF/lib下。分发到其它从节点

 

 

 

修改schemal.xml

 

1.   <fieldType name="text_pinyin" class="solr.TextField" positionIncrementGap="0">    

2.       <analyzer type="index">    

3.           <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>    

4.           <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>    

5.           <filter class="com.shentong.search.analyzers.PinyinTransformTokenFilterFactory" minTermLenght="2" />    

6.           <filter class="com.shentong.search.analyzers.PinyinNGramTokenFilterFactory" minGram="1" maxGram="20" />    

7.       </analyzer>    

8.         

9.       <analyzer type="query">         

10.          <tokenizer class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>    

11.          <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>    

12.          <filter class="com.shentong.search.analyzers.PinyinTransformTokenFilterFactory" minTermLenght="2" />    

13.          <filter class="com.shentong.search.analyzers.PinyinNGramTokenFilterFactory" minGram="1" maxGram="20" />    

14.      </analyzer>    

15.  </fieldType>  

添加smartcn分词

1.   <fieldType name="text_smartcn"     class="solr.TextField" positionIncrementGap="0">  

2.       <analyzer type="index">  

3.         <tokenizer     class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>  

4.         <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>  

5.       </analyzer>  

6.       <analyzer type="query">    

7.          <tokenizer     class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>  

8.         <filter class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>   

9.       </analyzer>   

10.  </fieldType>  

重启solr集群