Hbase Distcp

目录

Hbase Distcp

简介

使用步骤

参数配置

注意事项

优化建议

---

Hbase Distcp

简介

HBase中的Distcp命令用于在不同的HBase集群之间复制表。这对于在不同的HBase集群之间迁移数据或创建备份非常有用。Distcp（Distributed Copy）是一种用于高效地在Hadoop集群中复制大规模数据的工具。

使用步骤

使用Distcp命令导出HBase表的一般步骤如下：

1. 准备环境： 确保源和目标HBase集群的连接参数正确配置，并且目标集群上已经准备好了要导入的表的空间。

2. 准备目标表： 在目标HBase集群上创建一个新表，该表将用于接收从源集群中复制的数据。你可以使用create命令在HBase Shell中创建表，也可以使用HBase的API进行创建。

3. 执行distcp命令： 使用Hadoop的distcp命令从源HBase集群复制表到目标HBase集群。示例命令如下：

   hadoop distcp hbase://source_zookeeper_quorum:source_zookeeper_port/source_table hbase://target_zookeeper_quorum:target_zookeeper_port/target_table
   
   source_zookeeper_quorum: 源HBase集群的ZooKeeper地址。
   source_zookeeper_port: 源HBase集群的ZooKeeper端口。
   source_table: 要复制的源表的名称。
   target_zookeeper_quorum: 目标HBase集群的ZooKeeper地址。
   target_zookeeper_port: 目标HBase集群的ZooKeeper端口。
   target_table: 目标表的名称。

   ​​​​​​
4. 监视和验证： 等待distcp命令完成复制过程。完成后，验证目标表是否包含了源表的数据，并且数据的完整性是否得到了保证。

需要注意的是，distcp命令只会复制表的数据，不会复制表的结构。因此，在执行distcp之前，确保在目标HBase集群上创建了与源表结构相同的表。此外，如果源表包含任何的HBase过滤器或者复杂的结构，可能需要额外的处理来保证数据的完整性。

1. 导出 HBase 数据到 HFile 文件：

   • 使用 --export_hbase_by_hfile 参数指定导出 HBase 数据到 HFile 文件的操作。

   • 指定了项目名称、时间戳、行键、SQL 查询语句、HBase 表名称、HBase 集群等参数。

   • 设置了生成的 HFile 文件的保存路径为 /tmp/mobutils/hbase/mid/data_api_dm_ifid_mapping/#{task.data_time}_1。

2. 其他参数：

   • --m 10 和 --bandwidth 10 参数分别设置了 distcp 的 map 个数和带宽。

   • --keep_src_hfile 参数指示是否保留生成的 HFile 文件。

   • --hdfs_output 参数指定 HFile 文件的保存路径，但该参数似乎与指定的保存路径重复，可能需要进一步确认或调整。

参数配置

在Apache Hadoop中，默认情况下，DistCp作业的map数（即并行度）由Hadoop的配置参数决定。

map数（mapreduce.job.maps）：

• 通过-m指定

• 默认值为1。这意味着在没有其他配置的情况下，DistCp作业将以单个map任务运行。但是，实际的map数可能会受到其他因素的影响，比如输入数据的大小、文件数量等。

• 特殊情况，文件太小了，每个文件大小 + 文件状态数据 大小 > total size / 10 => 形成了16个切片

容器内核数（mapreduce.map.cpu.vcores）：

• 默认值为1。这是每个map任务所需的CPU核心数量。

• 一个map对应一个core，spark也是默认的1:1，可以修改

注意事项

1. 表结构：Distcp命令只会复制表的数据，不会复制表的结构。因此，在执行Distcp之前，确保在目标HBase集群上创建了与源表结构相同的表。
2. 复杂数据：如果源表包含任何HBase过滤器或复杂结构，可能需要额外的处理来保证数据的完整性。
3. 网络带宽：确保集群之间有足够的网络带宽，以支持大规模数据复制。

优化建议

1. 合理配置map数：根据数据量和集群资源，合理配置Map任务的数量。例如，如果参数设置为mapreduce.job.maps=100，但实际运行时只有16个Map任务，可能是由于集群资源不足或配置参数未生效。可根据实际情况调整参数。

2. 资源分配：确保每个Map任务有足够的CPU和内存资源。通过设置mapreduce.map.memory.mb和mapreduce.map.cpu.vcores参数，优化资源分配。例如：

   <property>
     <name>mapreduce.map.memory.mb</name>
     <value>4096</value>
   </property>
   <property>
     <name>mapreduce.map.cpu.vcores</name>
     <value>4</value>
   </property>
   

3. 调整HBase和HDFS配置：根据数据量和集群规模，优化HBase和HDFS的配置。例如，增加HBase RegionServer的内存和HDFS DataNode的并行度，以提高数据复制效率。

4. 监控和调优：在数据复制过程中，实时监控作业进度和集群资源使用情况，根据需要进行调整和优化。