Apache Solr 建立 HBase 二级索引

最新推荐文章于 2024-01-25 01:55:24 发布
最新推荐文章于 2024-01-25 01:55:24 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 大数据 文章标签： solr hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49227503/article/details/121426190
版权

一、安装 Apache Solr

在这里插入图片描述
图片分割线----------------------------------------------------------------------------------------------------------------------
在这里插入图片描述
图片分割线----------------------------------------------------------------------------------------------------------------------
在这里插入图片描述
图片分割线----------------------------------------------------------------------------------------------------------------------

二、配置 HBase 二级索引

1、增加HBase复制功能

打开启用编制索引、启用复制
在这里插入图片描述

对Hbase的表进行改造：

对于初次建立的表：

# 其中1表示开启replication功能，0表示不开启，默认为0
Create ‘device_safe_center_notice’,{NAME=>’alert_data’,VERSIONS=>3,REPLICATION_SCOPE=>1}

对于已经存在的表：

disable ‘device_safe_center_notice’

alter ‘device_safe_center_notice’,{NAME=>’alert_data’,REPLICATION_SCOPE=>1}

enable ‘device_safe_center_notice’

2、创建相应的 SolrCloud 集合

[root@node2 bin]# solrctl instancedir --generate /opt/module/hbase-indexer/solr_test

[root@node2 conf]# pwd
/opt/module/hbase-indexer/solr_test/conf
[root@node2 conf]# vim managed-schema
添加：
# name格式为”表名_列族名_列名”
<field name="device_alert_notice_alert_data_src_ip" type="string" indexed="true" stored="true" multiValued="true"/>
    <field name="device_alert_notice_alert_data_src_port" type="string" indexed="true" stored="true" multiValued="true"/>
    <field name="device_alert_notice_alert_data_dest_ip" type="string" indexed="true" stored="true" multiValued="true"/>
<field name="device_alert_notice_alert_data_dest_port" type="string" indexed="true" stored="true" multiValued="true"/>

打开硬提交：

[root@node2 conf]# vim solrconfig.xml
<!-- 修改 -->
<autoCommit>
      <maxTime>${solr.autoCommit.maxTime:10000}</maxTime>
      <openSearcher>false</openSearcher>
</autoCommit>
<autoSoftCommit>
      <maxTime>${solr.autoSoftCommit.maxTime:1000}</maxTime>
</autoSoftCommit>

执行：

[root@node2 conf]# solrctl instancedir --create solr_test /opt/module/hbase-indexer/solr_test/

# 以下的collection名称很重要，后续代码中要用到
[root@node2 conf]# solrctl collection --create solr_test

在/opt/module/hbase-indexer/solr_test路径下创建morphline-hbase-mapper.xml文件：

[root@node2 solr_test]# pwd
/opt/module/hbase-indexer/solr_test
[root@node2 solr_test]# vim morphline-hbase-mapper.xml
<?xml version="1.0"?>
<indexer table="device_alert_notice">
​    <field name="device_alert_notice_alert_data_src_ip" value="alert_data:src_ip" type="string"/>
​    <field name="device_alert_notice_alert_data_src_port" value="alert_data:src_port" type="string"/>
​    <field name="device_alert_notice_alert_data_dest_ip" value="alert_data:dest_ip" type="string"/>
​    <field name="device_alert_notice_alert_data_dest_port" value="alert_data:dest_port" type="string"/>
</indexer>

执行：

[root@node2 solr_test]# hbase-indexer add-indexer -n solr_test_indexer -c /opt/module/hbase-indexer/solr_test/morphline-hbase-mapper.xml -cp solr.zk=node1,node2,node3:2181/solr -cp solr.collection=solr_test

至此，hbase新增数据已经同步添加solr索引，但是在添加solr索引之前就已经存在于hbase中的数据需要手动批量添加索引

3、批量添加索引

[root@node2 jars]# hadoop jar /opt/cloudera/parcels/CDH/jars/hbase-indexer-mr-1.5-cdh6.3.2-job.jar --hbase-indexer-zk node1,node2,node3:2181 --hbase-indexer-name solr_test_indexer --reducers 0

三、基于solr二级索引查询hbase

1、SolrQueryUtil.java

添加pom依赖：

		<!-- https://mvnrepository.com/artifact/org.apache.solr/solr-solrj -->
        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
            <version>7.4.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.solr/solr-core -->
        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-core</artifactId>
            <version>7.4.0</version>
        </dependency>

代码：

import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.impl.CloudSolrClient;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;

import java.util.Collections;
import java.util.Optional;

/**
 * @Author: fyq
 * @Date: Create in 11:03 2021/6/30
 * @Desc: 获取solr中二级索引数据对hbase进行条件匹配查询工具类
 */

public class SolrQueryUtil {
    public static void main(String[] args) {

        try  {

            long start_time = System.currentTimeMillis();

            CloudSolrClient cloudSolrClient = new CloudSolrClient.Builder(Collections.singletonList("192.168.18.211:2181,192.168.18.212:2181,192.168.18.213:2181"), Optional.of("/solr")).build();

            long middle_time = System.currentTimeMillis();

            // 查询语句
            SolrQuery query = new SolrQuery("device_alert_notice_alert_data_dest_ip:163.402.777.809");
            
            // 查询结果需要显示的行数
            query.setRows(20);

            // 其中“solr_test”为创建的二级索引的collection名
            QueryResponse response = cloudSolrClient.query("solr_test", query);

            long stop_time = System.currentTimeMillis();

            System.out.println("======== connect solr total use time : " + (stop_time - start_time));
            System.out.println("======== solr query use time : " + (stop_time - middle_time));

            for (SolrDocument result : response.getResults()) {
                // SolrQuery()内需要传入的参数格式为：hbase表名_列族名_列名:列值
                System.out.println(result.get("id"));
                System.out.println(PhoenixGetDataUtil.get((String) result.get("id")));
            }

            System.out.println(response.getResults().getNumFound());
            System.out.println(response.toString());

            cloudSolrClient.close();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

2、PhoenixGetDataUtil.java

添加pom依赖：

		<dependency>
            <groupId>org.apache.phoenix</groupId>
            <artifactId>phoenix-core</artifactId>
            <version>5.0.0-HBase-2.0</version>
            <exclusions>
                <exclusion>
                    <groupId>org.glassfish</groupId>
                    <artifactId>javax.el</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-common</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.glassfish</groupId>
            <artifactId>javax.el</artifactId>
            <version>3.0.1-b06</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.0.0</version>
        </dependency>

代码：

import java.sql.*;
import java.util.Properties;

/**
 * @Author: fyq
 * @Date: Create in 15:24 2021/6/24
 * @Desc: 使用phoenix驱动查询hbase数据的工具类
 */

public class PhoenixGetDataUtil {

    public static String getData(String id) {
        try {
            String driver = "org.apache.phoenix.jdbc.PhoenixDriver";

            Class.forName(driver);

            String url = "jdbc:phoenix:192.168.18.211,192.168.18.212,192.168.18.213:2181";

            //需保证客户端和服务端参数配置一致
            Properties props = new Properties();
            props.put("phoenix.schema.isNamespaceMappingEnabled", "true");
            props.setProperty("phoenix.query.timeoutMs", "1200000");
            props.setProperty("hbase.rpc.timeout", "1000");
            props.setProperty("hbase.client.scanner.timeout.period", "1200000");

            long start_time = System.currentTimeMillis();
            
            Connection connection = DriverManager.getConnection(url);

            long middle_time = System.currentTimeMillis();

            //查询数据
            PreparedStatement pstste = connection.prepareStatement("select \"src_ip\",\"dest_ip\" from \"device_alert_notice\" where \"ID\" = ?");

            pstste.setString(1,id);
            ResultSet resultSet = pstste.executeQuery();

            long stop_time = System.currentTimeMillis();

            System.out.println("============== connect hbase total use time :" + (stop_time - start_time));

            System.out.println("============== hbase query use time :" + (stop_time - middle_time));

            String result = null;

            while (resultSet.next()){
                result = "src_ip : "+resultSet.getString(1)+" dest_ip : "+resultSet.getString(2);
            }

            pstste.close();
            connection.close();
            
            return result;

        } catch (Exception e){

            e.printStackTrace();

            return null;
        }
    }
}
丰友强
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase+solr创建二级索引完整操作
09-04
楼主实操的步骤整理的，只需要将Zookeeper的ip换成自己集群的就可以一步步地跟着文档实现，感兴趣的同学可以看看。
基于Solr实现HBase的二级索引
lzf的博客
03-18 5576
HBase 二级索引方案的基本原理 本文所说的二级索引是针对 HBase 数据表中的 rowkey 一级索引而言的，其原理就是针对数据表主键（rowkey）外的某个或者某些字段列建立的类似于“键 - 值”对的数据结构，以列的值作为“键”，以该列值对应的 rowkey 作为“值”，并按“键”的值进行排序，利用B+ 树或者其他查找效率高的数据结构进行存储，以建立“列值”到 row key 的映射关系...
Solr+hbase方案
.
03-26 3020
一、Solr+hbase方案 Solr是一个独立的企业级搜索应用server，它对并提供相似干Web-service的API接口。用户能够通过http请求，向搜索引擎server提交一定格式的XML文件，生成索引。也能够通过Http Get操作提出查找请求，并得到XML格式的返回结果。 Solr是一个高性能。采用Java5开发。基干Lucene的全文搜索server。同一时候对其进行了扩展。提...
solr建立hbase二级索引完整流程
YUYGUYGU的博客
10-23 141
solr建立hbase二级索引完整流程
HBase高级特性：HBase与Solr集成
最新发布
禅与计算机程序设计艺术
01-25 1102
1.背景介绍 HBase高级特性：HBase与Solr集成 1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、ZooKeeper等组件集成。HBase具有高可靠性、高性能和高可扩展性等特点，适用于大规模数据存储和实时数据处理。 Solr是一个基于Lucene的开源搜索引擎，具有强大的...
Hbase 二级索引方案
02-25
Solr 是一个独立的企业级搜索应用服务器，是 Apache Lucene 项目的开源企业搜索平台, 其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如 Word、PDF）的处理。Solr 是高度可扩展的...
hbase+Coprocesser+solr实现二级索引
09-06
为了解决这个问题，我们可以结合HBase的Coprocessor机制和Solr来构建二级索引，实现更高效的查询性能。 首先，我们来理解一下“二级索引”。在HBase中，一级索引是基于行键（Row Key）的，它是默认的、快速的访问...
hbase二级索引
04-08
另一种方法是使用外部索引服务，如Apache Solr或Elasticsearch，它们与HBase集成，提供丰富的查询功能。这种方式虽然增加了系统的复杂性，但能提供更强大的搜索和分析能力。 对于事务处理，HBase 提供了基本的单行...
solr+hbase
12-03
Solr 和 HBase 是两种在大数据领域广泛应用的...在实际应用中，这通常涉及到 Solr 的配置、索引建立、HBase 的表设计以及两者的交互逻辑等技术细节。通过学习和掌握这些知识，开发者可以构建出高性能的大数据解决方案。
apache-solr4.10参考指南-英文版下载
08-08
Apache Solr是一款开源的企业级搜索平台，基于Java语言开发，广泛应用于网站全文检索、内容分析和数据挖掘等领域。以下将对Solr 4.10的主要知识点进行详解： 1. **Solr概述** - Solr的核心功能包括全文检索、拼写...
Hbase同步数据到Solr的方案
09-03
hbase indexer是负责将hbase的数据自动同步到solr中建立索引，不需要写代码将hbase的数据同步到solr中创建索引。尽少开发工作，和减少在在并发环境下手工创建索引可能带来性能问题。
基于CDH的Solr+Hbase+KV构建二级索引
01-07
1.安装solr 在CDH主界面，选择“添加服务” 选择“solr”，之后点击“继续”  2.安装Key-Value Store Indexer 与上面操作雷同 3.构建二级索引 3.1创建测试表 3.1.1创建测试表（phoenix） drop table “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS”; CREATE TABLE “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS” (    ydh varchar NOT NULL PRIMARY KEY,    khbh varchar,    khdh varchar,    kdsj varc
Hadoop+Hbase+Solr(集成中文分词)分布式部署流程
12-19
由于早期项目的客户服务器重新规划，原来部署应用的员工已离职且部署文档不完整，所以用三个虚机节点搭了简单的Hadoop+Hbase+Solr的环境并形成部署步骤文档给运维人员参考，有兴趣的可以下载一下，以上。
hbase+solr
01-27
文档描述了自己使用hbase和solr搭建的简单搜索功能！
大数据学习笔记——使用Solr建立HBASE索引
家住海边，见过大风大浪
09-04 1565
最近工作需要解除HBase存储数据，并对数据进行加工分析处理。在此将个人学习过程及踩过的坑记录一下，放置个人大脑遗忘，希望在缓解个人脑容量不足的情况下，也能给他人提供帮助。 环境： 阿里云Hbase企业版 流程： Hbase表的创建、数据插入、Solr的Collection创建、Solr索引创建、Java通过Solr访问查询数据。 Hbase表、Solr Collection、Solr索引三者之...
hbase基于solr配置二级索引
zhenzhendeblog的博客
10-24 8595
一.概述 Hbase适用于大表的存储，通过单一的RowKey查询虽然能快速查询，但是对于复杂查询，尤其分页、查询总数等，实现方案浪费计算资源，所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing)，供复杂查询使用。 Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配
CDH-Hbase多表基于solr创建二级索引
qiangzi_lg的博客
01-30 500
基于solr创建hbase多表的二级索引
使用solr构建hbase二级索引
jediael_lu的专栏
08-02 7678
使用solr构建hbase二级索引@(HBASE)[hbase, solr]使用solr构建hbase二级索引 一概述 一业务场景描述 二技术方案 1技术方案一 2技术方案二 3关于索引的建议 二使用hbase-indexer构建hbase二级索引 一 安装环境准备 二 配置solr 三 配置hbase-solr 四测试 1hbase中创建测试表 2添加配置文件用于将solr中的field映射为hb

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值