MapReduce 生成HFile导入Hbase

最新推荐文章于 2021-02-23 16:06:24 发布

qzqanlhy1314

最新推荐文章于 2021-02-23 16:06:24 发布

阅读量578

点赞数

分类专栏： hadoop hbase HFile

本文链接：https://blog.csdn.net/qzqanzc/article/details/90719431

版权

本文介绍了如何利用Hadoop MapReduce生成HFile，并将这些文件导入到HBase中进行批量数据加载。首先，文章讲解了在Hadoop 2.7.7和HBase 2.0.5环境下，基于Gradle构建MapReduce代码的具体步骤，包括配置build.gradle文件，编写HBaseHFileMapper.java以及设置JOB类。然后，提到了导入HFile到HBase的实际操作，作者提醒读者这只是一个个人笔记，更多详细信息可以参考链接给出的教程。

摘要由CSDN通过智能技术生成

版本： hadoop 2.7.7 hbase 2.0.5

步骤一：编写Mapreduce 代码生成HFile
基于Gradle 构建
build.gradle

plugins {
    id 'java'
}

group 'com.kteck'
version '1.0-SNAPSHOT'

sourceCompatibility = 1.8

jar {
    manifest {
        attributes "Main-Class": "com.kteck.csvimport.JOB"
    }
    from {
        configurations.compile.collect { it.isDirectory() ? it : zipTree(it) }
    }
}

repositories {

    mavenLocal()
    maven {
        url 'http://maven.aliyun.com/nexus/content/groups/public/'
    }
    maven {
        url 'https://maven.aliyun.com/repository/jcenter'
    }
}





dependencies {
    compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.7'
    compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.7'
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-common', version: '2.7.7'
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-jobclient', version: '2.7.7'
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-core', version: '2.7.7'
    compile group: 'org.apache.httpcomponents', name: 'htt