大数据学习之bulkLoad实现批量导入

已于 2022-06-15 21:25:15 修改
阅读量869 收藏
点赞数 2
分类专栏： 大数据学习 文章标签： big data 学习 hbase
于 2022-06-15 14:43:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_wang_/article/details/125296599
版权

优点：

  1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。

  2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种hdfs内存储的数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法。配合mapreduce完成，高效便捷，而且不占用region资源，增添负载。

限制：

  1. 仅适合初次数据导入，即表内数据为空，或者每次入库表内都无数据的情况。

  2. HBase集群与Hadoop集群为同一集群，即HBase所基于的HDFS为生成HFile的MR的集群：

代码编写：

提前在hbase中创建好表

生成hfile基本流程：

1.设置Mapper的输出KV类型

K ：ImmutableBytesWritable 代表行键

V : KeyValue 代表之值

2.开发Mapper

从原数据表中读取数据，按照你的要求进行处理；

输出rowkey作为K，，输出一些keyvalue(put)作为V

3.配置job参数

zookeeper的连接地址

配置输出 OutputFormat为HFileOutputFormat2,并为其设置参数

4.提交job

导入HFile到RegionServer 的流程

构建一个表描述对象

构建一个Region定位工具

然后用LoadIncrementalHFiles来doBulkload操作

package bolkloading;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.*;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.FileInputStream;
import java.io.IOException;
import java.util.SimpleTimeZone;

/**
 * 设置Mapper的kv类型
 **/

class BulkLoadingMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, KeyValue> {
    //因为是继承至Mapper所以要重写Mapper方法
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        super.map(key, value, context);
        //1.对数据做分割，这里以tab键为一个分割  \t
        String[] split = value.toString().split("\t");
        //判断数据的长度，什么时候开始做处理
        if (split.length>6){
            String phoneName = split[0];
            String wgId = split[1];
            String city = split[2];
            String qxId = split[3];
            String waitTime = split[4];
            String startTime = split[5];
            String endTime = split[6];
            String dataTime = split[7];

            //设计行键,将电话编号和城市编号下划线连接，方便后面分割
            String rowkey = phoneName+"_"+wgId;

            //包装keyvalue(行键，列簇，列名，列值)
            KeyValue wgId2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "wgId".getBytes(), wgId.getBytes());
            KeyValue city2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "city".getBytes(), city.getBytes());
            KeyValue quId2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "quId".getBytes(), qxId.getBytes());
            KeyValue waitTime2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "waitTime".getBytes(),waitTime.getBytes());
            KeyValue startTime2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "startTime".getBytes(),startTime.getBytes());
            KeyValue endTime2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "endTime".getBytes(),endTime.getBytes());
            KeyValue dataTime2 = new KeyValue(rowkey.getBytes(), "info".getBytes(), "dataTime".getBytes(),dataTime.getBytes());

            //现在rowkey和value都有了，用context.write() 往里面写数据,要写入的rowkey要求是ImmutableBytesWritable类型的所以包装一下
            ImmutableBytesWritable rowkey2 = new ImmutableBytesWritable(rowkey.getBytes());

            context.write(rowkey2,wgId2);
            context.write(rowkey2,city2);
            context.write(rowkey2,quId2);
            context.write(rowkey2,wgId2);
            context.write(rowkey2,waitTime2);
            context.write(rowkey2,startTime2);
            context.write(rowkey2,endTime2);
            context.write(rowkey2,dataTime2);
        }
    }
}

/**
 * 配置job参数
 * 现在rowkey2是行键 wgId2是单元格，由于hbase表的列簇是info，所以要与之映射，不然添加不进去
 **/

public class BolkLoad {
    public static void main(String[] args) throws  Exception {
        //1.获取配置文件,获取hbase或hadoop的都可以原因是hbase与hadoop集群是一样的，这里获取hbase，方便文件转成HFile
  Configuration conf = HBaseConfiguration.create();
        //2.获取zookeeper相关配置
        conf.set("hbase.zookeeper.quorum","mater:2181,node1:2181,node2:2181");
        //3.创建Job作业
        Job job = Job.getInstance();
        //设置job名字
        job.setJobName("BolkLoad dianxin_data");
        //设置job主类名
        job.setJarByClass(BolkLoad.class);

        //注意：这里可以设置reduce任务个数，但不会生效，reduce任务是由region个数决定的
        job.setNumReduceTasks(4);

        //4.配置Map相关的内容
        //设置Map的类
        job.setMapperClass(BulkLoadingMapper.class);
        //设置Map的K V
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(KeyValue.class);

        //5.由于写入不是有序的，所以要设置一个他的有序写入
        job.setPartitionerClass(SimpleTotalOrderPartitioner.class);


        //6.配置Reduce保证分区是有序的
        job.setReducerClass(KeyValueSortReducer.class);
        //7.用FileInputFormat.addInputPath配置输入路径，new Path指定这个dianxin_bulk文件在hdfs下面的路径
        FileInputFormat.addInputPath(job,new Path("/data/DIANXIN/input/dianxin_data"));
        //7.1配置输出路径
        FileOutputFormat.setOutputPath(job,new Path("/data/DIANXIN/output/dianxin_data"));

            //获取表，首先获取连接，然后拿这个连接调用getAdmin获取master相关东西，然后getTable获取表，需要新建传一个tableName.valueof类型的表名;
            //通过getRegionLocator
获取region的所在位置
        Connection conn = ConnectionFactory.createConnection(conf);
        Admin admin = conn.getAdmin();
        Table dianxin_bulk = conn.getTable(TableName.valueOf("dianxin_bulk"));
        RegionLocator regionLocator = conn.getRegionLocator(TableName.valueOf("dianxin_bulk"));

        //通过HFileOutputmat2将文件生成HFile文件,（）里传 （job任务，table表达对应的表名叫什么,Region表的位置信息）
        HFileOutputFormat2.configureIncrementalLoad(job,dianxin_bulk,regionLocator);
        System.out.println("===========HFile文件生成成功，对应HBase表：dianxin_bulk========");

        //8.开始执行MapperReduce任务
        boolean b = job.waitForCompletion(true);
        //这个返回值b决定了是否成功启动,所以需要if判断
        if (b){
            System.out.println("数据导入成功，开始将HFile文件加载到HBase中");
            //8.1 将HFile文件加载到HBase中,先创建一个类
            LoadIncrementalHFiles load = new LoadIncrementalHFiles(conf);
            //8.2用这个类返回值调用doBulkLoad开始加载;传入四个参数（输出路径，,mater对象admin,表名，region的信息）
            load.doBulkLoad(new Path("/data/DIANXIN/output/dianxin_data"),admin,dianxin_bulk,regionLocator);
            System.out.println("文件加载成功");
        }else {
            System.out.println("数据导入失败");
        }

        //=========到此输入已经导入成功=============下面开始将文件上传到HDFS中
        /**
         * 1.将文件上传到HDFS上 ：/data/DIANXIN/input/dianxin_data
         * 2.在HBase中 建表： create 表名 列簇   create 'dianxin_bulk' , 'info'
         * 3.打包上传
         * 4.执行 hadoop jar  包名.jar  相对路径.类名
         *       hadoop jar  ....jar   .....BolkLoad
         *
         * */



    }
}

上传流程：

        1.选择这个项目，点击package打包；

        2.若无代码中的目录则需要新建;

        去hadoop命令窗口里输入 hadoop  fs -mkdir -p /data/DIANXIN/ input

        master：50070去web hadoop页面查看；

        3.打包好的文件在taget/maven-archiver下;执行 hadoop jar 包名.jar 相对路径.类名

        4.命令窗口 scan查看是否放入成功 

说明：

1. 最终输出结果，无论是map还是reduce，输出部分key和value的类型必须是： < ImmutableBytesWritable, KeyValue>或者< ImmutableBytesWritable, Put>。
2. 最终输出部分，Value类型是KeyValue 或Put，对应的Sorter分别是KeyValueSortReducer或PutSortReducer。
3. MR例子中HFileOutputFormat2.configureIncrementalLoad(job, dianxin_bulk, regionLocator);自动对job进行配置。SimpleTotalOrderPartitioner是需要先对key进行整体排序，然后划分到每个reduce中，保证每一个reducer中的的key最小最大值区间范围，是不会有交集的。因为入库到HBase的时候，作为一个整体的Region，key是绝对有序的。

4. MR例子中最后生成HFile存储在HDFS上，输出路径下的子目录是各个列族。如果对HFile进行入库HBase，相当于move HFile到HBase的Region中，HFile子目录的列族内容没有了，但不能直接使用mv命令移动，因为直接移动不能更新HBase的元数据。

5. HFile入库到HBase通过HBase中 LoadIncrementalHFiles的doBulkLoad方法，对生成的HFile文件入库

所需依赖：父工程

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.shujia</groupId>
    <artifactId>hadoop_bigdata</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>

    <modules>
        <module>hadoop-hive</module>
        <module>hadoop-hbase</module>
    </modules>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <hadoop-version>2.7.6</hadoop-version>
        <junit-version>4.13.1</junit-version>
    </properties>

    <dependencyManagement>
        <dependencies>
            <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>${hadoop-version}</version>
            </dependency>

            <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>${hadoop-version}</version>
            </dependency>

            <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs</artifactId>
                <version>${hadoop-version}</version>
            </dependency>

            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>${junit-version}</version>
            </dependency>

            <!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
            <dependency>
                <groupId>com.janeluo</groupId>
                <artifactId>ikanalyzer</artifactId>
                <version>2012_u6</version>
            </dependency>

            <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-jdbc</artifactId>
                <version>1.2.1</version>
            </dependency>

            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>1.2.1</version>
            </dependency>

            <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase-client</artifactId>
                <version>1.4.6</version>
            </dependency>

            <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase-server</artifactId>
                <version>1.4.6</version>
            </dependency>

            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.49</version>
            </dependency>

        </dependencies>
    </dependencyManagement>

</project>

hadoop-hbase 子工程：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<!--    <parent>
        <artifactId>hadoop_bigdata</artifactId>
        <groupId>com.shujia</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>-->
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.shujia</groupId>
    <artifactId>hadoop-hbase</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <hadoop-version>2.7.6</hadoop-version>
        <junit-version>4.13.1</junit-version>
    </properties>


    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop-version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop-version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop-version}</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.4.6</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.4.6</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.49</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>
            <!-- compiler插件, 设定JDK版本 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <encoding>UTF-8</encoding>
                    <source>1.8</source>
                    <target>1.8</target>
                    <showWarnings>true</showWarnings>
                </configuration>
            </plugin>


            <!-- 带依赖jar 插件-->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>

    </build>

</project>

卡耐基 · 杨
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase工具之BulkLoad
xiao的博客
09-19 2486
使用BulkLoad是由于实际业务的需要，每个月底都需要向HBase插入大约200G的数据，接近10亿条记录。在插入过程中需要占用大量的IO资源，极大影响了现有的实时数据入库业务的效率。因此需要寻找一种替代的方案来在不影响现有业务的基础上，不占用大量集群资源，快速高效的插入大量的数据。本文主要介绍了BulkLoad的工作机制和应用，以及在使用过程中遇到的问题，最后简要分析了BulkLoad的源码步骤
批量导入数据，大数据导入
10-30
3. **使用BULK INSERT**：在SQL Server中，BULK INSERT命令用于批量导入数据，与LOAD DATA INFILE类似。 ```sql BULK INSERT table_name FROM 'data.txt' WITH (FIELDTERMINATOR = ',', ROWTERMINATOR = '\n'); `...
HBase海量数据入库方案、使用ImportTSV向HBase中导入海量数据、HBase的写入流程、HBase在HDFS中的存储结构、LoadIncrementalHFiles命令 10
啊策策大数据社区
04-23 3513
前言 数据导入HBase时，若是小批量的数据，使用HBase提供的API就可以满足需求。 如果要灌入大量数据，使用API的方式导入，会占用大量的RegionServer的资源，影响该RegionServer上其他表的查询。 为了解决这种问题，HBase官方提供了两种基于MapReduce的大量数据导入的方法： ImportTSV BuckLoad 1. HBase导入数据的写入流程 客...
java客户端,从Java客户端运行LoadIncrementalHFiles
weixin_32480335的博客
02-16 609
I want to call hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/myuser/map_data/hfiles mytable method from my Java client code.When I run the application I get the following excepti...
LoadIncrementalHFiles 流程和原理
最新发布
小湘西的博客
05-11 685
是用于HBase的Bulk Load工具，允许用户高效地将大量数据直接加载到HBase表中，而不是使用传统的行级别插入。它通过直接将HFiles（HBase的存储文件格式）移动到HBase数据目录，避免了写入WAL（Write-Ahead Log）和进行RPC调用，从而提高了数据加载速度。
HBase学习笔记：使用BulkLoad特性快速导入海量数据
lrxcmwy2的博客
08-12 2万+
概述        HBase包含几种将数据加载到表中的方法，最直接的方法是HBase Shell、使用MapReduce作业中的TableOutputFormat类，或者使用普通的客户端api，然而，这些并不总是最有效的方法。BulkLoad特性使用MapReduce作业以HBase的内部数据格式输出表数据，然后直接将生成的存储文件加载到一个正在运行的集群中。使用批量加载将比简单地使用HBas...
【HBase高级】3. HBase批量装载——Bulk load（1）Bulk load简介与案例介绍
CSDNGuoYuying的博客
02-01 1802
很多时候，我们需要将外部的数据导入到HBase集群中，例如：将一些历史的数据导入到HBase做备份。我们之前已经学习了HBase的Java API，通过put方式可以将数据写入到HBase中，我们也学习过通过MapReduce编写代码将HDFS中的数据导入到HBase。但这些方式都是基于HBase的原生API方式进行操作的。这些方式有一个共同点，就是需要与HBase连接，然后进行操作。HBase服务器要维护、管理这些连接，以及接受来自客户端的操作，会给HBase的存储、计算、网络资源造成较大消耗。
Hbase调用JavaAPI实现批量导入操作
08-06
这篇博客“Hbase调用Java API实现批量导入操作”聚焦于如何利用Java编程语言高效地向HBase中批量导入数据。在这个过程中，我们将探讨以下几个关键知识点： 1. **HBase架构**： HBase是基于列族的存储模型，数据被...
MR程序Bulkload数据到hbase
03-12
通过学习和理解这些代码，你可以更好地掌握如何在实际生产环境中使用MapReduce进行HBase的数据批量导入。在具体操作时，需要注意数据的正确性、性能优化以及错误处理，以确保数据加载的稳定性和高效性。
asp下实现批量插入数据的方法
01-20
在MySQL中，可以利用`LOAD DATA INFILE`命令快速导入数据。这些方法通常比逐条插入更高效，尤其适用于大数据量的情况。 总的来说，ASP中批量插入数据涉及的主要知识点包括：ASP基础语法，ADO对象模型，动态SQL语句...
文本文件批量导入sql数据库
11-26
总之，批量导入文本文件到SQL数据库是大数据管理中的关键操作，通过正确的方法和优化策略，可以大大提高数据处理的效率和准确性。在实践中，理解并熟练掌握这些技巧对于任何IT专业人士来说都至关重要。
一篇文章搞懂 HBase 的 BulkLoad 机制
Shockang的博客
06-01 1874
本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！在实际生产环境中，有这样一种场景：用户数据位于 HDFS 中，业务需要定期将这部分海量数据导入 HBase 系统，以执行随机查询更新操作。这种场景如果调用写入 API 进行处理，极有可能会给 RegionServer 带来较大的写人压力：鉴于存在上述问题，HBase提供了另一种将数据写入HBase集群的方法一。BulkLoad 首先使用 MapReduce 将待写入集群数据转换为 HFile 文件，再
HBase 写优化之 BulkLoad 实现数据快速入库
wisgood的专栏
12-26 1万+
转自 http://my.oschina.net/leejun2005/blog/187309 目录[-] 1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？ 2、bulkload 流程与实践 3、说明与注意事项： 4、Refer： 1、为何要 BulkLoad 导入？传统的
使用 Bulk Copy 将大量数据复制到数据库
weixin_33739523的博客
07-22 159
如果一次要向数据库服务器提交多条记录 , 通常会执行多次Insert命令 , 这样就为要插入的每个记录执行一次与数据库服务器的往返 , 这就给服务器增加了压力 , 效率也大大的降低了....Net FrameWork 2.0 新增功能 Bulk Copy 可以很快将大量数据加载到数据库中 , 现在利用这一新功能来实现上述功能.这里从 MS Sql Server 2000 的 NorthWind 的...
Hbase（11）bulkLoad批量导入数据
刚哥的大数据之路
08-20 200
bulkload的原理是用mr程序读取文件数据，生成HFile文件，直接放到HDFS指定目录中去。 Importtsv是hbase自带的一个 csv文件–》HFile文件 的工具，它能将csv文件转成HFile文件，并发送给regionserver 它的本质，是内置的一个将csv文件转成hfile文件的mr程序！ 1数据文件 uid001，lss，32，F uid002，zss，32，F uid003，wss，32，F uid004，dss，32，F 2.在hbase中创建一个表 create “tb_te
2021SC@SDUSC hbase代码分析（十四）BulkLoad功能
weixin_45785943的博客
12-25 1118
2021SC@SDUSC hbase源码分析（十四）BulkLoad功能 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 目录2021SC@SDUSC hbase源码分析（十四）BulkLoad功能BulkLoad功能BulkLoad核心流程HFile生成阶段。HFile导入阶段。核心流程到此结束 BulkLoad功能 在实际生产环境中，有这样一种场景：用户数据位于HDFS中，业务需要定期将这部分海量数据导入HBase系统，以执行随机查询更新操作。这种
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
热门推荐
我和我追逐的梦~~~
05-09 2万+
声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.  引用: 一、这种方式有很多的优点： 1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk
Hadoop与HBase的一些特殊操作命令
long1657的专栏
09-24 2369
Hadoop与HBase的一些特殊操作命令   1.将hbase数据库中的表导出到hdfs中的命令: Hbase org.apache.hadoop.hbase.mapreduce.Export   [ [ []]] 2.加载导出的数据回到HBase的命令： Hbase org.apache.hadoop.hbase.mapreduce.Import   注意：导入时表必须存在，导出的
通过BulkLoad的方式快速导入海量数据
weixin_30505485的博客
06-04 315
摘要 加载数据到HBase的方式有多种，通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入（耗费磁盘I/O，容易在导入的过程使节点宕机），但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下，今天要讲的就是利用HBase在HDFS存储原理及MapReduce的特性来快速导入海量的数据 HBase数据在HDFS下是如何存储的？ H...
HBase BulkLoad批量写入数据
03-29
HBase的BulkLoad（批量加载）是一种高效的方式，可以将大量数据快速地导入到HBase表中。相比于逐条写入数据，BulkLoad可以减少网络传输、HBase服务端处理和数据文件写入的开销，从而提高数据导入的速度。 BulkLoad...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值