hadoop+es+hbase mapreduce将hbase数据写入es

最新推荐文章于 2022-07-26 00:13:45 发布
最新推荐文章于 2022-07-26 00:13:45 发布
阅读量815 收藏 2
点赞数
文章标签： hadoop  hbase es mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30039137/article/details/101195803
版权

hadoop+es+hbase mapreduce将hbase数据写入es

1.添加依赖：

<?xml version="1.0" encoding="UTF-8"?>


4.0.0

com.kexion
HBaseMapReduce
1.0-SNAPSHOT
jar

HBaseMapReduce

http://www.example.com

org.apache.hadoop hadoop-client 2.7.2 jackson-xc org.codehaus.jackson 
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>2.7.2</version>
  <exclusions>
    <exclusion>
      <artifactId>netty</artifactId>
      <groupId>io.netty</groupId>
    </exclusion>
    <exclusion>
      <artifactId>slf4j-api</artifactId>
      <groupId>org.slf4j</groupId>
    </exclusion>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
    <exclusion>
      <artifactId>slf4j-log4j12</artifactId>
      <groupId>org.slf4j</groupId>
    </exclusion>
    <exclusion>
      <artifactId>log4j</artifactId>
      <groupId>log4j</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-logging</artifactId>
      <groupId>commons-logging</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-compress</artifactId>
      <groupId>org.apache.commons</groupId>
    </exclusion>
    <exclusion>
      <artifactId>httpclient</artifactId>
      <groupId>org.apache.httpcomponents</groupId>
    </exclusion>
      <exclusion>
          <artifactId>jackson-core-asl</artifactId>
          <groupId>org.codehaus.jackson</groupId>
      </exclusion>
    <exclusion>
      <artifactId>commons-codec</artifactId>
      <groupId>commons-codec</groupId>
    </exclusion>
    <exclusion>
      <artifactId>jackson-mapper-asl</artifactId>
      <groupId>org.codehaus.jackson</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-collections</artifactId>
      <groupId>commons-collections</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-lang</artifactId>
      <groupId>commons-lang</groupId>
    </exclusion>
    <exclusion>
      <artifactId>jackson-jaxrs</artifactId>
      <groupId>org.codehaus.jackson</groupId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>2.7.2</version>
  <exclusions>
    <exclusion>
      <artifactId>jsr305</artifactId>
      <groupId>com.google.code.findbugs</groupId>
    </exclusion>
    <exclusion>
      <artifactId>netty-all</artifactId>
      <groupId>io.netty</groupId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <version>1.3.1</version>
    <exclusions>
        <exclusion>
            <artifactId>commons-logging</artifactId>
            <groupId>commons-logging</groupId>
        </exclusion>
      <exclusion>
        <artifactId>junit</artifactId>
        <groupId>junit</groupId>
      </exclusion>
      <exclusion>
        <artifactId>guava</artifactId>
        <groupId>com.google.guava</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-common</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>slf4j-api</artifactId>
        <groupId>org.slf4j</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-auth</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>netty-all</artifactId>
        <groupId>io.netty</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>commons-codec</artifactId>
        <groupId>commons-codec</groupId>
      </exclusion>
    </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.logging.log4j</groupId>
  <artifactId>log4j-core</artifactId>
  <version>2.9.0</version>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-server</artifactId>
  <version>1.3.1</version>
    <exclusions>
        <exclusion>
            <artifactId>netty-all</artifactId>
            <groupId>io.netty</groupId>
        </exclusion>
      <exclusion>
        <artifactId>guava</artifactId>
        <groupId>com.google.guava</groupId>
      </exclusion>
      <exclusion>
        <artifactId>commons-logging</artifactId>
        <groupId>commons-logging</groupId>
      </exclusion>
      <exclusion>
        <artifactId>commons-codec</artifactId>
        <groupId>commons-codec</groupId>
      </exclusion>
      <exclusion>
        <artifactId>junit</artifactId>
        <groupId>junit</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-common</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-auth</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-client</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-hdfs</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
      <exclusion>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <groupId>org.apache.hadoop</groupId>
      </exclusion>
    </exclusions>
</dependency>
<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-common</artifactId>
  <version>1.3.1</version>
  <exclusions>
    <exclusion>
      <artifactId>guava</artifactId>
      <groupId>com.google.guava</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-logging</artifactId>
      <groupId>commons-logging</groupId>
    </exclusion>
    <exclusion>
      <artifactId>commons-codec</artifactId>
      <groupId>commons-codec</groupId>
    </exclusion>
    <exclusion>
      <artifactId>junit</artifactId>
      <groupId>junit</groupId>
    </exclusion>
    <exclusion>
      <artifactId>hadoop-common</artifactId>
      <groupId>org.apache.hadoop</groupId>
    </exclusion>
    <exclusion>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <groupId>org.apache.hadoop</groupId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>com.oracle</groupId>
  <artifactId>ojdbc14</artifactId>
  <version>10.2.0.2.0</version>
</dependency>
<dependency>
  <groupId>org.elasticsearch</groupId>
  <artifactId>elasticsearch</artifactId>
  <version>5.6.1</version>
</dependency>
<dependency>
  <groupId>io.netty</groupId>
  <artifactId>netty-all</artifactId>
  <version>4.1.13.Final</version>
</dependency>
<dependency>
  <groupId>org.elasticsearch.client</groupId>
  <artifactId>transport</artifactId>
  <version>5.6.1</version>
  <exclusions>
    <exclusion>
      <artifactId>commons-codec</artifactId>
      <groupId>commons-codec</groupId>
    </exclusion>
    <exclusion>
      <artifactId>netty</artifactId>
      <groupId>io.netty</groupId>
    </exclusion>
    <exclusion>
      <artifactId>compiler</artifactId>
      <groupId>com.github.spullara.mustache.java</groupId>
    </exclusion>
    <exclusion>
      <artifactId>httpcore</artifactId>
      <groupId>org.apache.httpcomponents</groupId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>4.11</version>
  <scope>test</scope>
</dependency>
src/main/java **/*.properties **/*.xml false org.apache.maven.plugins maven-surefire-plugin true true maven-compiler-plugin 2.3.2 1.8 1.8 maven-assembly-plugin com.kexion.mapReduce.hbasetohbase.HbaseToHbaseDriver assemb
最低0.47元/天 解锁文章
qq_30039137
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase 导入到es_HBase 2.0 协处理器实现 ES 数据同步
weixin_27603469的博客
12-31 576
标签：hbase 2.0、elasticsearch、Coprocessor、协处理器在正式进行讲述实现之前，我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加，对部分表的查询效率和查询条件多样性，提出了更高的要求。HBase+Phoenix 就会出现索引滥用。变更索引变的特别的频繁，同时一些数据客观的表，变更索引的代价是非常大的。...
hbase 导入到es_HBase数据同步到ElasticSearch的方案
weixin_39883091的博客
12-22 832
ElasticSearch的River机制ElasticSearch自身提供了一个River机制，用于同步数据。这里能够找到官方眼下推荐的River：可是官方没有提供HBase的River。事实上ES的River很easy，就是一个用户打包好的jar包，ES负责找到一个node，并启动这个River。假设node失效了。会自己主动找另外一个node来启动这个River。public interfa...
面向高稳定，高性能之-Hbase数据实时同步到ElasticSearch(之二)
zhulangfly的专栏
06-22 7829
我在这篇focus在两个主题：如何支持多表同步共用一个jar包，如何持续稳定的与ES交互写入数据。 在 《 使用Hbase协作器(Coprocessor)同步数据到ElasticSearch》中作者把两个关键组件中的属性和方法都声明为static，这意味什么？类方法和属性在所有的线程中共享，源代码请参考该博客。 问题出来了，当你用如下传参数的方式绑定到多个表： alter 'tes
通过Map/Reduce将HDFS数据写入ES，ES数据写入HDFS
weixin_36340771的博客
12-01 2367
环境准备 系统 centos 7 java 1.8 hadoop 2.7 ES 7.15.2 （ES单机版本安装可以参考：https://blog.csdn.net/weixin_36340771/article/details/121389741） 准备hadoop本地运行环境 获得Hadoop文件 链接：https://pan.baidu.com/s/1MGriraZ8ekvzsJyWdPssrw 提取码：u4uc 配置HADOOP_HOME 解压上述文件，然后配置HADOOP_HOME，注意修改地址。
hadoop+zookeeper+hbase集群搭建配置说明
06-22
它将数据存储在HDFS上，但通过Zookeeper进行元数据管理和区域分配。在搭建HBase集群时，我们需要配置HBase的主RegionServer（Master）、RegionServer实例以及与Zookeeper的连接。此外，还要设置表和列族的属性，如块...
基于hadoop的简单网络爬虫，HBase MapReduce.zip
最新发布
03-13
HBase与Hadoop的集成通常通过HBase的Hadoop接口实现，允许MapReduce作业直接将数据写入HBase。这种方式可以充分利用Hadoop的并行处理能力和HBase的分布式存储特性，提高数据处理效率。 总结来说，这个项目涉及了从...
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip
04-10
5. **Hadoop**：Hadoop是开源的大数据处理框架，主要由HDFS（分布式文件系统）和MapReduce（并行计算模型）组成。在这个云盘系统中，Hadoop可能是用来分布式存储文件数据，确保数据的冗余和容错性。 项目结构...
Elasticsearch-HBase-replication同步
05-11
用于hbase同步数据到es(replication机制)
hbase 导入到es_elasticsearch+hbase整合步骤
weixin_39572152的博客
12-22 756
1:设计索引库的settings信息的mappings信息，并把这些配置信息保存到一个配置文件中。vibjsxt.json{"settings":{"number_of_shards":5,"number_of_replicas":0},"mappings":{"doc":{"dynamic":"strict","properties":{"id":{"type":"integer","stor...
利用MapReduce将文件内容写入Hbase表
xiushuiguande的博客
03-09 4343
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bi...
使用 ES-Hadoop 将 Spark Streaming 流数据写入 ES
weixin_43813200的博客
07-26 839
ES-Hadoop实现了Hadoop生态（Hive、Spark、Pig、Storm等）与ElasticSearch之间的数据交互，借助该组件可以将Hadoop生态的数据写入到ES中，然后借助ES对数据快速进行搜索、过滤、聚合等分析，进一步可以通过Kibana来实现数据的可视化。同时，也可以借助ES作为数据存储层（类似数仓的Stage层或者ODS层），然后借助Hadoop生态的数据处理工具（Hive、MR、Spark等）将处理后的数据写入到HDFS中。...
问题 spark读取hbase数据写入ES报错
zhangxiping
09-24 553
业务流程 首先说说我们的业务实现，数据存储在hbase中，通过hive表关联，然后运行spark任务，读取hive表数据，调用es提供的saveToEs方法，将dataframe写入ES 错误日志 Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 times, most recent failure: Lost task ...
基于ES的HBase二级索引方案
lzf的博客
03-19 2498
HBase不支持多条件查询，不提供二级索引，难以满足用户对检索功能多样性和高效率两方面的需求。由索引模块的需求分析可知，本文解决通过，提出数据与索引的分离，利用HBase数据库的存储模式灵活多变，容纳海量数据等特点，结合ES的快速建立索引和提供多样化的查询接口等优势，构建基于ES的HBase二级索引方案。从HBase二级索引现状可知，目前主要解决思路分为两种：第一种是开发人员手动创建和维护索引表，...
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch
热门推荐
fxsdbt520的博客
12-26 1万+
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch
使用ES-Hadoop插件结合spark向es插入数据
三劫散仙
05-05 8581
上篇文章简单介绍了ES-Hadoop插件的功能和使用场景，本篇就来看下如何使用ES-Hadoop里面的ES-Spark插件，来完成使用spark想es里面大批量插入数据。 这里说明下ES-Hadoop是一个fat的maven依赖，也就是引入这个包会导入许多额外的依赖，不建议这么搞，除非是测试为了方便用的，实际情况是ES也单独提供了每个不同框架的mini包，比如说只使用spark那么就可以单独
elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中
u013905744的专栏
08-13 1736
背景知识见链接： elasticsearch备份与恢复2_es通过repository-hdfs插件支持snapshot和restore API es使用repository-hdfs插件通过snapshot和restore，来执行将索引传入HDFS以及从HDFS中恢复。但这样的在HDFS中的snapshot文件并不适合处理。 ES-Hadoop可以用java来操作HDFS以及Elastic...
. 配置mapreduce程序可访问操作hbase的hadoop环境。 2. hbase mapreduce程序设计
09-29
1. 配置mapreduce程序可访问操作hbase的hadoop环境： ...6）运行程序：将编译后的mapreduce程序提交到Hadoop集群上以运行，程序将按照设定的逻辑读取HBase表中的数据并进行处理，并将结果写入HBase表中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值