Hbase Distcp

目录

Hbase Distcp

参数

特殊情况

---

Hbase Distcp

HBase中的distcp命令用于在不同的HBase集群之间复制表。这对于在不同的HBase集群之间迁移数据或创建备份是很有用的。

下面是使用distcp命令导出HBase表的一般步骤：

1. 准备环境： 确保源和目标HBase集群的连接参数正确配置，并且目标集群上已经准备好了要导入的表的空间。

2. 准备目标表： 在目标HBase集群上创建一个新表，该表将用于接收从源集群中复制的数据。你可以使用create命令在HBase Shell中创建表，也可以使用HBase的API进行创建。

3. 执行distcp命令： 使用Hadoop的distcp命令从源HBase集群复制表到目标HBase集群。示例命令如下

   bashCopy codehadoop distcp 
   
   hbase://source_zookeeper_quorum:source_zookeeper_port/source_table 
   
   hbase://target_zookeeper_quorum:target_zookeeper_port/target_table
   
   source_zookeeper_quorum: 源HBase集群的ZooKeeper地址。
   
   source_zookeeper_port: 源HBase集群的ZooKeeper端口。
   
   source_table: 要复制的源表的名称。
   
   target_zookeeper_quorum: 目标HBase集群的ZooKeeper地址。
   
   target_zookeeper_port: 目标HBase集群的ZooKeeper端口。
   
   target_table: 目标表的名称。

4. 监视和验证： 等待distcp命令完成复制过程。完成后，验证目标表是否包含了源表的数据，并且数据的完整性是否得到了保证。

需要注意的是，distcp命令只会复制表的数据，不会复制表的结构。因此，在执行distcp之前，确保在目标HBase集群上创建了与源表结构相同的表。此外，如果源表包含任何的HBase过滤器或者复杂的结构，可能需要额外的处理来保证数据的完整性。

1. 导出 HBase 数据到 HFile 文件：

   • 使用 --export_hbase_by_hfile 参数指定导出 HBase 数据到 HFile 文件的操作。

   • 指定了项目名称、时间戳、行键、SQL 查询语句、HBase 表名称、HBase 集群等参数。

   • 设置了生成的 HFile 文件的保存路径为 /tmp/mobutils/hbase/mid/data_api_dm_ifid_mapping/#{task.data_time}_1。

2. 其他参数：

   • --m 10 和 --bandwidth 10 参数分别设置了 distcp 的 map 个数和带宽。

   • --keep_src_hfile 参数指示是否保留生成的 HFile 文件。

   • --hdfs_output 参数指定 HFile 文件的保存路径，但该参数似乎与指定的保存路径重复，可能需要进一步确认或调整。

参数

在Apache Hadoop中，默认情况下，DistCp作业的map数（即并行度）由Hadoop的配置参数决定。

map数（mapreduce.job.maps）：

• 通过-m指定

• 默认值为1。这意味着在没有其他配置的情况下，DistCp作业将以单个map任务运行。但是，实际的map数可能会受到其他因素的影响，比如输入数据的大小、文件数量等。

• 特殊情况，文件太小了，每个文件大小 + 文件状态数据 大小 > total size / 10 => 形成了16个切片

容器内核数（mapreduce.map.cpu.vcores）：

• 默认值为1。这是每个map任务所需的CPU核心数量。

• 一个map对应一个core，spark也是默认的1:1，可以修

特殊情况

        mapreduce.job.maps

        分配的map数量和核数关系,参数设置是10*10，实际运行出来16个map