HBase与MapReduce的集成

最新推荐文章于 2022-06-14 09:27:21 发布
最新推荐文章于 2022-06-14 09:27:21 发布
阅读量3.9k 收藏 2
点赞数
分类专栏： HBASE 文章标签： HBase与MapReduce的集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44065303/article/details/103636770
版权

HBase当中的数据最终都是存储在HDFS上面的，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase当中的数据，并且MR可以将处理后的结果直接存储到HBase当中去

一、读取myuser这张表当中的数据写入到HBase的另外一张表当中去

读取HBase当中一张表的数据，然后将数据写入到HBase当中的另外一张表当中去。注意：我们可以使用TableMapper与TableReducer来实现从HBase当中读取与写入数据

将myuser这张表当中f1列族的name和age字段写入到myuser2这张表的f1列族当中去

1、创建myuser2这张表

hbase(main):010:0> create 'myuser2','f1'

2、创建maven工程，导入jar包

<repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>

    <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-mr1-cdh5.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>6.14.3</version>
            <scope>test</scope>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                    <!--    <verbal>true</verbal>-->
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.2</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*/RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

3、开发MR的程序 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

public class HBaseMR extends Configured implements Tool {

    public static class HBaseMapper extends TableMapper<Text,Put>{
        /**
         * @param key   主键rowkey
         * @param value 一行数据所有列的值都封装在value里面了
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {

            String rowKey = Bytes.toString(key.get());
            Put put = new Put(key.get());
            Cell[] cells = value.rawCells();
            for (Cell cell : cells) {
                if ("f1".equals(Bytes.toString(CellUtil.cloneFamily(cell)))){
                    if ("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){
                     put.add(cell);
                    }
                    if ("age".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){
                     put.add(cell);
                    }
                }
            }
            if (!put.isEmpty()){
                context.write(new Text(rowKey),put);
            }
        }
    }

    public static class HBaseReducer extends TableReducer<Text,Put,ImmutableBytesWritable> {

        @Override
        protected void reduce(Text key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
            for (Put value : values) {
                context.write(null,value);
            }
        }
    }

    @Override
    public int run(String[] args) throws Exception {

        Job job = Job.getInstance(super.getConf());
        job.setJarByClass(this.getClass());

        Scan scan = new Scan();
        //使用TableMapReduceUtil 工具类来初始化我们的mapper    TableMapReduceUtil.initTableMapperJob(TableName.valueOf("myuser2"),scan,HBaseMapper.class,Text.class,Put.class,job);
        //使用TableMapReduceUtil 工具类来初始化我们的reducer
        TableMapReduceUtil.initTableReducerJob("myuser4",HBaseReducer.class,job);

        job.setNumReduceTasks(1);
        return job.waitForCompletion(true)?0:1;

    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
        System.exit(ToolRunner.run(conf,new HBaseMR(),args));
    }

}

4、打包运行

需要使用打包插件，将HBase的依赖jar包都打入到工程jar包里面去

然后执行

yarn jar hbaseStudy-1.0-SNAPSHOT.jar  cn.itcast.hbasemr.HBaseMR

或者我们也可以自己设置我们的环境变量

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0/

export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0/

export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

yarn jar original-hbaseStudy-1.0-SNAPSHOT.jar  cn.itcast.hbasemr.HBaseMR

二、读取HDFS文件，写入到HBase表当中去

1、准备数据文件，并将数据文件上传到HDFS上面去

hdfs dfs -mkdir -p /hbase/input

cd /export/servers/

vim user.txt

0007    zhangsan    18
0008    lisi    25
0009    wangwu    20

2、开发MR程序

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

public class Hdfs2Hbase extends Configured implements Tool {
    @Override
    public int run(String[] args) throws Exception {
        Job job = Job.getInstance(super.getConf(), "hdfs2Hbase");
        job.setJarByClass(Hdfs2Hbase.class);
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job,new Path("hdfs://node01:8020/hbase/input"));
        job.setMapperClass(HdfsMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        TableMapReduceUtil.initTableReducerJob("myuser2",HBaseReducer.class,job);
        job.setNumReduceTasks(1);
        boolean b = job.waitForCompletion(true);

        return b?0:1;
    }


    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
        int run = ToolRunner.run(conf, new Hdfs2Hbase(), args);
        System.exit(run);
    }


    public static class HdfsMapper extends Mapper<LongWritable,Text,Text,NullWritable> {
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            context.write(value,NullWritable.get());
        }
    }

    public static class HBaseReducer extends TableReducer<Text,NullWritable,ImmutableBytesWritable> {

        @Override
        protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
            String[] split = key.toString().split("\t");
            Put put = new Put(Bytes.toBytes(split[0]));
            put.addColumn("f1".getBytes(),"name".getBytes(),split[1].getBytes());
            put.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(Integer.parseInt(split[2])));
            context.write(new ImmutableBytesWritable(Bytes.toBytes(split[0])),put);
        }
    }

}

三、读取HBase的表数据，然后将数据写入到hdfs上面去

四、通过bulkload的方式批量加载数据到HBase当中去

加载数据到HBase当中去的方式多种多样，我们可以使用HBase的javaAPI或者使用sqoop将我们的数据写入或者导入到HBase当中去，但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下，我们也可以通过MR的程序，将我们的数据直接转换成HBase的最终存储格式HFile，然后直接load数据到HBase当中去即可

HBase中每张Table在根目录（/HBase）下用一个文件夹存储，Table名为文件夹名，在Table文件夹下每个Region同样用一个文件夹存储，每个Region文件夹下的每个列族也用文件夹存储，而每个列族下存储的就是一些HFile文件，HFile就是HBase数据在HFDS下存储格式，所以HBase存储文件最终在hdfs上面的表现形式就是HFile，如果我们可以直接将数据转换为HFile的格式，那么我们的HBase就可以直接读取加载HFile格式的文件，就可以直接读取了

优点：

1.导入过程不占用Region资源

2.能快速导入海量的数据

3.节省内存

HBase数据正常读写流程

 

使用bulkload的方式将我们的数据直接生成HFile格式，然后直接加载到HBase的表当中去

 

需求：将我们hdfs上面的这个路径/hbase/input/user.txt的数据文件，转换成HFile格式，然后load到myuser2这张表里面去

1、开发MR程序

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;
import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

public class BulkData extends Configured implements Tool {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181");
        System.exit(ToolRunner.run(conf,new BulkLoadData(),args));
    }

    @Override
    public int run(String[] args) throws Exception {

        Job job = Job.getInstance(super.getConf());
        Connection connection = ConnectionFactory.createConnection(super.getConf());
        Table connectionTable = connection.getTable(TableName.valueOf("myuser2"));
        RegionLocator regionLocator = connection.getRegionLocator(TableName.valueOf("myuser2"));
        job.setJarByClass(BulkLoadData.class);
        job.setMapperClass(BulkLoadMap.class);
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(Put.class);
        HFileOutputFormat2.configureIncrementalLoad(job,connectionTable,regionLocator);
        FileInputFormat.addInputPath(job,new Path("hdfs://node01:8020/hbase/input/"));
        FileOutputFormat.setOutputPath(job,new Path("hdfs://node01:8020/hbase/output_hfile"));
        return job.waitForCompletion(true)?0:1;

    }

    public static class BulkLoadMap extends Mapper<LongWritable,Text,ImmutableBytesWritable,Put> {

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String[] split = value.toString().split("\t");
            Put put = new Put(Bytes.toBytes(split[0]));
            put.addColumn("f1".getBytes(),"name".getBytes(),split[1].getBytes());
            put.addColumn("f1".getBytes(),"age".getBytes(),Bytes.toBytes(Integer.valueOf(split[2])));
            context.write(new ImmutableBytesWritable(Bytes.toBytes(split[0])),put);
        }

    }

}

2、将代码打成jar包然后进行运行

yarn jar original-hbaseStudy-1.0-SNAPSHOT.jar  cn.itcast.hbasemr.HBaseLoad

3、开发代码，加载数据

将输出路径下面的HFile文件，加载到我们的hbase表当中去

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;

public class LoadData {

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.property.clientPort","2181");
        conf.set("hbase.zookeeper.quorum","node01,node02,node03");
        Connection connection = ConnectionFactory.createConnection(conf);
        Admin admin = connection.getAdmin();
        Table connectionTable = connection.getTable(TableName.valueOf("myuser"));
        RegionLocator regionLocator = connection.getRegionLocator(TableName.valueOf("myuser"));
        LoadIncrementalHFiles load = new LoadIncrementalHFiles(conf);
        load.doBulkLoad(new Path("hdfs://node01:8020/hbase/output_hfile"),admin,connectionTable,regionLocator);

    }
}

或者我们也可以通过命令行来进行加载数据

先将hbase的jar包添加到hadoop的classpath路径下

export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0/

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0/

export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

然后执行以下命令，将hbase的HFile直接导入到表myuser2当中来

yarn jar /export/servers/hbase-1.2.0-cdh5.14.0/lib/hbase-server-1.2.0-cdh5.14.0.jar completebulkload /hbase/output_hfile myuser2

依旧ฅ=ฅ
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
当HBase遇上MapReduce
Junds0的博客
01-16 3998
第1关：HBase的MapReduce快速入门 本关任务：编写一个HBase的MapReduce配置程序。 package com.processdata; import java.io.IOException; import java.util.List; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.a
Hbase:HBase MapReduce投影
05-02
标题中的“Hbase:HBase MapReduce投影”是指在HBase数据存储系统中，利用MapReduce框架进行数据处理的一种技术。MapReduce是Google提出的一种分布式计算模型，常用于大数据处理，而HBase则是一个基于列族的分布式...
java 版本文件导致 Job job = Job.getInstance(configuration); 报错
底层码农
03-27 1万+
Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80) at org.apache.hadoop.security.SecurityUtil.getAuthen...
HBase与MapReduce的集成（通过bulkload的方式批量加载数据到HBase当中去)
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-20 9401
加载数据到HBase当中去的方式多种多样， 我们可以使用HBase的javaAPI或者使用sqoop将我们的数据写入或者导入到HBase当中去， 但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下， 我们也可以通过MR的程序，将我们的数据直接转换成HBase的最终存储格式HFile， 然后直接load数据到HBase当中去即可 HFile HBase 中每张...
Hbase 与mapreduce结合
Transkai
04-22 300
Hbase和mapreduce结合 为什么需要用mapreduce去访问hbase的数据？ ——加快分析速度和扩展分析能力 Mapreduce访问hbase数据作分析一定是在离线分析的场景下应用 案例1、HBase表数据的转移 在Hadoop阶段，我们编写的MR任务分别进程了Mapper和Reducer两个类，而在HBase中我们需要继承的是TableMapper和TableReducer两...
Hbase入库的一些问题
Baron_ND的博客
05-15 590
hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后HTable调用put方法，通过rpc请求提交到Regionserver端。 写入的方式可以分为以下几种: 单条put 批量put 使用Mapreduce bluckload 进行批量入库之前，首先要连接到正确的连接到hbase static{ conf=HBaseConfiguration.create(.
大数据开发之Hbase企业应用及与MapReduce集成实战教程（视频+讲义+笔记+配置+代码+练习）
04-17
│ Day16[Hbase 企业应用及与MapReduce集成].pdf ├─02_视频 │ Day1601_Hbase Java API-环境配置.mp4 │ Day1603_Hbase Java API-put、delete.mp4 │ Day1604_Hbase Java API-Scan和过滤器.mp4 │ Day1605_Hbase...
HBase MapReduce完整实例.rar
06-19
1. **案例介绍**：详细讲解如何使用HBase和MapReduce进行数据处理，包括设置环境、配置HBase与MapReduce的集成、编写MapReduce程序等步骤。 2. **代码示例**：提供实际的Java代码，演示如何编写Map和Reduce函数来...
基于hadoop的简单网络爬虫，HBase MapReduce.zip
最新发布
03-13
HBase与Hadoop的集成通常通过HBase的Hadoop接口实现，允许MapReduce作业直接将数据写入HBase。这种方式可以充分利用Hadoop的并行处理能力和HBase的分布式存储特性，提高数据处理效率。 总结来说，这个项目涉及了从...
HBase MapReduce完整实例
01-06
本文将通过一个具体的Eclipse工程实例，深入解析HBase与MapReduce的集成应用。 一、HBase简介 HBase是基于Google Bigtable设计的一个开源NoSQL数据库，运行在Hadoop之上。它提供了高可靠性和高性能的数据存储，特别...
当HBase遇上MapReduce头歌答案
qq_52331221的博客
06-14 4558
第1关：HBase的MapReduce快速入门 任务描述 相关知识 快速入门 HBase 的 MapReduce 配置 HBase 的 Map 类 和 Reduce 类 编程要求 测试说明 任务描述 本关任务：编写一个HBase的MapReduce配置程序。 相关知识 为了完成本关任务，你需要掌握： 快速入门 HBase的MapReduce配置 HBase的Map类 和Reduce类 快速入门 要运行HBase的MapReduce很简单，HBase内部已经自带了M......
hbase之MapReduce程序
枣泥馅的博客
04-16 1325
在写基于hbase的mapreduce时程序时候，与以前基于hbase的稍有不同 1、Mapper、Reducer与以前继承的类有点不同，现在继承TableMapper和TableReducer 2、在Mapper中是从hbase读取的表来处理的，在Reducer中最终也是要输出到hbase中 3、在Mapper中多出了一个类型就是行健的类型，以前是偏移值，在Reducer中也是多了一个hb...
idea使用maven搭建Hadoop环境并运行第一个mapreduce程序实现WordCount
林立可
11-18 2491
（一）MapReuduce入门之环境搭建 1，定义：mapReduce是一种分布式计算框架，Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群上。 2，特点：mapReduce易于编程、扩展性好、适合处理PB级别数据；但是他不适合处理实时数据，流失计算、有向图计算等。 3，mapreduce程序编写规则： 1）Mapper 阶段 （1）用户自定义的 Mapper 要继承自己的父类 （2）Mapper 的输入数据是 KV 对
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
热门推荐
我和我追逐的梦~~~
05-09 2万+
声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.  引用: 一、这种方式有很多的优点： 1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk
调用Mapreduce，org.apache.hadoop.hbase.mapreduce处理hbase问题
weixin_30820151的博客
03-28 1481
调用Mapreduce，org.apache.hadoop.hbase.mapreduce处理hbase问题 hbase org.apache.hadoop.hbase.mapreduce.Export ERROR: Wrong number of arguments: 0 Usage: Export [-D <property=value>]* <tablename&...
HBase和MapReduce集成
我的博客
12-19 417
1、使用MapReduce对Hbase中的一张表数据统计，然后将结果输出到HBase中的另一张表 package com.cxy.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apach...
hbase--Hbase与MapReduce集成
qq_46893497的博客
03-07 467
Hbase与MapReduce集成1、应用场景2、集成原理3、读Hbase数据4、存储到Hbase 1、应用场景 Hbase：分布式数据库 实现分布式存储 MapReduce：分布式计算 实现分布式计算 读写分布式存储 HDFS：文件系统，以文件形式管理数据，一次写入，多次读取 Hive：数据仓库，以表形式管理数据，但底层数据还是文件，一次写入，多次读取 Hbase：数据库，以表的形式管理数据，但底层优先使用内存，随机实时读写访问 2、集成原理 读：InputFormat Text
HBase与MapReduce集成
weixin_30907935的博客
08-15 61
即HBase作为MapReduce的数据来源，MapReduce 分析，输出数据存储在HBase表中 CLASSPATH HBase, MapReduce, and the CLASSPATH By default, MapReduce jobs deployed to a MapReduce cluster do not have access to either the HBase confi...
MapReduce操作Hbase时Jar包依赖
jsutyq的专栏
06-21 1425
当我们提交任务到集群，发现很多包和方法找不到，这时你是不时很困惑，在工作中我也遇到了同样的问题，最后发现有个简单的方法可以解决，那就是设置classpath，如下：export HADOOP_CLASSPATH=`hadoop classpath`export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_CLASSPATHexport HADOOP_CLAS...
HBase与MapReduce是如何进行集成。
04-26
HBase是一个分布式的NoSQL数据库，MapReduce是Hadoop的分布式计算框架，它们可以通过Hadoop的API进行集成。具体来说，HBase可以作为MapReduce的数据源和目标，MapReduce通过HBase的API来读取和写入HBase中的数据。在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值