一种不同网络环境下HBase数据备份及恢复方法

最新推荐文章于 2023-12-25 09:30:00 发布
最新推荐文章于 2023-12-25 09:30:00 发布
阅读量471 收藏 1
点赞数 2
分类专栏： Hbase hadoop 文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/107860125
版权
Hbase 同时被 2 个专栏收录
12 篇文章 8 订阅
订阅专栏
hadoop
11 篇文章 3 订阅
订阅专栏

目录

0.引 言

1.备份方法

2 数据恢复方法

 2.1 将将备份文件添加到hdfs中

2.2 导入数据到HBase集群

3 相关参考代码

4.小 结

0.引 言

HBase在大数据处理中地位至关重要，有的公司会将HBase作为原始数据接入层，那么Hbase的数据备份就显得至关重要，那么如何备份呢？这里我们引入Hbase的一个API，hbase org.apache.hadoop.hbase.mapreduce.Export，该API可以实现同一集群间的数据备份。对于实际使用场景中，我们往往还会遇到数据迁移的问题，即数据从一个集群拷贝到另一个集群中，当然数据迁移的方案有很多种，本文所讨论的是对于不同环境，不同IP场景下，数据从一种环境中的集群拷贝到另一环境的集群，两种集群不能互相通信，对于这种需求我们依然采用HBase提供的Export及Import工具进行备份，本文针对以上场景给出了完整的解决方案。

1.备份方法

（1）场景：应用不同网络集群之间的数据拷贝，两集群之间互不相通。比如从杭州机房拷贝数据到北京机房，两个集群之间不能通信。冷备份，历史数据迁移，不考虑数据丢失等问题。

（2）基本原理：

  •         采用Export及import导入导出工具

               Export导出工具与CopyTable一样是依赖hbase的scan读取数据，并且采用的ImportFormat与CopyTable一样是TableInputFormat类，从该类的getSplits()方法可以看出MR的map数与hbase表的region数相同。

  •       采用hadoop dfs -get命令将HDFS文件获取到本地
  •       采用zip -r命令将本地文件压缩成.zip形式

（3）脚本实现

      1） 脚本说明：

  • 当没有参数输入时候（输入参数为0），说明需要将HBASE中的所有表都进行全量备份
  • 当输入参数为1时候，说明只输入了需要备份的哪张表，且该表需要全量备份
  • 当输入参数为2的时候，说明只输入了起始时间和结束时间，需要将所有的表按照时间进行增量备份
  • 当输入参数为3的时候，说明需要按照某张表，某个时间范围进行增量备份
  • 备份后将数据进行zip压缩，方便网络传输，减小传输量

     2）脚本实现 

#!/bin/bash
#需要提前安装zip命令，yum install -y zip
###############################################################################################################################
#当没有参数输入时候（输入参数为0），说明需要将HBASE中的所有表都进行全量备份
#当输入参数为1时候，说明只输入了需要备份的哪张表，且该表需要全量备份
#当输入参数为2的时候，说明只输入了起始时间和结束时间，需要将所有的表按照时间进行增量备份
#当输入参数为3的时候，说明需要按照某张表，某个时间范围进行增量备份
##################################################################################################################################

HBASE_HOME=/usr/idp/current/hbase-client
#version=1;
start_time=
end_time=
backup_table=
function getFromHbase()
{
  if [ "$#" = "4" ];then
		backup_table="$4"
	elif [ "$#" = "2" ];then
		backup_table="$2"
	else
		echo Invalid Args!
	fi
	case "$1" in
	"i")
			#指定hdfs用户执行命令
	 		sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	    hbase org.apache.hadoop.hbase.mapreduce.Export ${backup_table} /bak/${backup_table} 1 $(( ${2} * 1000 )) $(( ${3} * 1000 ))
      ;;
	"f")
			#指定hdfs用户执行命令
	 		sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	   	hbase org.apache.hadoop.hbase.mapreduce.Export ${backup_table} /bak/${backup_table}
			;;
	"*")
			echo Invalid Args!
			;;
	esac
	rm -rf /home/centos/opt/${backup_table}
	hadoop dfs -get /bak/${backup_table} /home/centos/opt/${backup_table}
	cd /home/centos/opt
	zip -r ${backup_table}.zip /home/centos/opt/${backup_table}
}

case "$#" in
"0")
		for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'`
		do
			getFromHbase "f" ${backup_table}
		done
    ;;
"1")
			if [[ $1 =~ ^phm_default_ ]];then
					backup_table=$1
					getFromHbase "f" ${backup_table}
			else
				echo Invalid Args!
				echo 'Usage: '$(basename $0)' backup_table'
			fi
    ;;
"2")
		if [ "$1" != "" ];then
		 start_time=`date -d "$1" +%s` #增量备份的起始时间戳
		fi;
		if [ "$2" != "" ];then
		 end_time=`date -d "$2" +%s` #增量备份的结束时间戳
		fi;
		for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'`
		do
			getFromHbase "i" ${start_time} ${end_time} ${backup_table}
		done
    ;;
"3")
		if [ "$1" != "" ];then
		 start_time=`date -d "$1" +%s` #增量备份的起始时间戳
		fi;
		if [ "$2" != "" ];then
		 end_time=`date -d "$2" +%s` #增量备份的结束时间戳
		fi;
		if [ "$3" != "" ];then
		 backup_table=$3 #需要备份的表
		fi;
		getFromHbase "i" ${start_time} ${end_time} ${backup_table}
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' ""|backup_table|start_time end_time|start_time end_time backup_table'
    ;;
esac

 3）初始化脚本

  • 创建本地数据存放目录
  • HDFS中创建备份目录
#!/bin/bash

#创建备份目标路径/home/centos/opt
rm -rf /home/centos/opt
mkdir -p /home/centos/opt
chmod 777 -R /home/centos/opt

#hdfs中创建/bak备份目录
su - hdfs << EOF
  hadoop fs -rmr /bak;
  hadoop fs -mkdir -p /bak
  hadoop fs -chmod -R 777 /bak;
exit;
EOF

执行备份脚本时候先进行初始化操作。

4）将备份到本地的数据利用相关工具copy到磁盘，作为下一次数据恢复使用。
 

2 数据恢复方法

 2.1 将将备份文件添加到hdfs中

  将上面的目录复制到新的机器中，通过put将文件上传到hdfs中去。

  hadoop dfs -put localFile hdfsFile

  如下：把系统的/home/centos/opt/student 上传到新集群hdfs的/bak目录下下。

 （1）拷贝数据到新集群的本地目录下。

       创建/home/centos/opt，利用相关远传工具将数据复制到新的集群中。

rm -rf /home/centos/opt
mkdir -p /home/centos/opt

 （2）在新集群环境的hdfs中创建/bak目录

   为了避免权限等一些不必要的麻烦采用如下操作

su - hdfs << EOF
  hadoop fs -rmr /bak;
  hadoop fs -mkdir -p /bak;
  hadoop fs -chmod -R 777 /bak;
exit;
EOF

 （3）put上传本地文件到HDFS集群

hadoop fs -put /home/centos/opt/student /bak

（4） 查看上传到HDFS中的文件

[root@bigdata-1 opt]# hadoop fs -ls /bak

 

2.2 导入数据到HBase集群

（1）先建立一张与原来一样的表。如student表

create 'student','infor'

   结果如下：

（2）采用HBase的import工具将数据导入 

hbase org.apache.hadoop.hbase.mapreduce.Import student /bak/student

  执行结果如下：

注意：如果执行报错，错误如下

2020-08-12 14:42:08,803 INFO  [main] client.AHSProxy: Connecting to Application History server at bigdata-1.jiaxun.com/10.9.4.109:10200
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/root/.staging":hdfs:hdfs:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:213)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1955)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1939)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1922)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4150)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1109)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:645)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2345)

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
	at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3075)
	at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:3043)
	at org.apache.hadoop.hdfs.DistributedFileSystem$25.doCall(DistributedFileSystem.java:1181)
	at org.apache.hadoop.hdfs.DistributedFileSystem$25.doCall(DistributedFileSystem.java:1177)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1177)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1169)
	at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:160)
	at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:111)
	at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:144)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866)
	at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
	at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
	at org.apache.hadoop.hbase.mapreduce.Import.main(Import.java:547)

比较简单粗暴的解决方法就是给报错内容所指的目录处给予777权限

su - hdfs

hadoop fs -chmod -R  777 /user

（3） 导入结束后查看数据是否导入成功

可以看到数据已经被成功导入。

（4）数据导入时需要注意的问题

  • 如果数据体量比较大的时候可以采用bulkload的方式将数据导入，导入时先生成HFile文件再load进去
  • 如果实际导入的数据量较大，需要进行优化工作，修改map及reduce的内存大小，配置mr任务，及yarn容器的一些参数等，这需要具体问题具体分析

2.3 导入数据脚本

导入比较简单只需要将备份数据直接导入所需要的集群即可

#!/bin/bash

HBASE_HOME=/usr/idp/current/hbase-client
function ImportToHBase()
{   #指定hdfs用户执行命令
	sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	sudo -u hdfs hadoop fs -put /home/centos/opt/${backup_table} /bak
	hbase org.apache.hadoop.hbase.mapreduce.Import ${backup_table} /bak/${backup_table}
}
if [ "$1" != "" ];then
   backup_table=$1
   ImportToHBase ${backup_table}
else
	for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'` 
	do
		ImportToHBase ${backup_table}
	done
fi

3.相关参考代码

#####HBASE中批量建表############
#!/bin/bash

#table_head='iot_phm_'
if [ "$1" != "" ];then
        table_head=$1
fi;


CF='phm'
if [ "$2" != "" ];then
        CF=$2
fi;

HBASE_HOME=/usr/idp/current/hbase-client

$HBASE_HOME/bin/hbase shell <<EOF
    create "${table_head}inspect", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}shock", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}environment", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}conresis", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}transtime", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}input", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}lightningswitch", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}tdcs", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}relay", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}stabvol", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}dcswitchmachpower", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}micromonit", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}interlock", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}turnrepres", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}block", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}zpwrail", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}stationjoin", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}circuitbreak", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}inputtransftemp", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}power25hz", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}accontact", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}signal", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}xbbox", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}lightunit", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}sigmachshock", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}sigmachenv", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}centdetectlightunit", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}tocircuit", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}ticircuit", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}tcenvironment", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}tcshock", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}swtctlcir", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}sigctlcir", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}2y2wrelay", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
    create "${table_head}alarm", {NAME => "$CF",COMPRESSION => 'SNAPPY'}
	EXIT;
EOF

#初始化准备工作
#!/bin/bash

#创建备份目标路径/home/centos/opt
rm -rf /home/centos/opt
mkdir -p /home/centos/opt
chmod 777 -R /home/centos/opt

#hdfs中创建/bak备份目录
su - hdfs << EOF
  hadoop fs -rmr /bak;
  hadoop fs -mkdir -p /bak
  hadoop fs -chmod -R 777 /bak;
exit;
EOF
=======================================
#导出代码
#!/bin/bash
#需要提前安装zip命令，yum install -y zip
###############################################################################################################################
#当没有参数输入时候（输入参数为0），说明需要将HBASE中的所有表都进行全量备份
#当输入参数为1时候，说明只输入了需要备份的哪张表，且该表需要全量备份
#当输入参数为2的时候，说明只输入了起始时间和结束时间，需要将所有的表按照时间进行增量备份
#当输入参数为3的时候，说明需要按照某张表，某个时间范围进行增量备份
##################################################################################################################################

HBASE_HOME=/usr/idp/current/hbase-client
#version=1;
start_time=
end_time=
backup_table=
function getFromHbase()
{
  if [ "$#" = "4" ];then
		backup_table="$4"
	elif [ "$#" = "2" ];then
		backup_table="$2"
	else
		echo Invalid Args!
	fi
	case "$1" in
	"i")
			#指定hdfs用户执行命令
	 		sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	    hbase org.apache.hadoop.hbase.mapreduce.Export ${backup_table} /bak/${backup_table} 1 $(( ${2} * 1000 )) $(( ${3} * 1000 ))
      ;;
	"f")
			#指定hdfs用户执行命令
	 		sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	   	hbase org.apache.hadoop.hbase.mapreduce.Export ${backup_table} /bak/${backup_table}
			;;
	"*")
			echo Invalid Args!
			;;
	esac
	rm -rf /home/centos/opt/${backup_table}
	hadoop dfs -get /bak/${backup_table} /home/centos/opt/${backup_table}
	cd /home/centos/opt
	zip -r ${backup_table}.zip /home/centos/opt/${backup_table}
}

case "$#" in
"0")
		for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'`
		do
			getFromHbase "f" ${backup_table}
		done
    ;;
"1")
			if [[ $1 =~ ^phm_default_ ]];then
					backup_table=$1
					getFromHbase "f" ${backup_table}
			else
				echo Invalid Args!
				echo 'Usage: '$(basename $0)' backup_table'
			fi
    ;;
"2")
		if [ "$1" != "" ];then
		 start_time=`date -d "$1" +%s` #增量备份的起始时间戳
		fi;
		if [ "$2" != "" ];then
		 end_time=`date -d "$2" +%s` #增量备份的结束时间戳
		fi;
		for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'`
		do
			getFromHbase "i" ${start_time} ${end_time} ${backup_table}
		done
    ;;
"3")
		if [ "$1" != "" ];then
		 start_time=`date -d "$1" +%s` #增量备份的起始时间戳
		fi;
		if [ "$2" != "" ];then
		 end_time=`date -d "$2" +%s` #增量备份的结束时间戳
		fi;
		if [ "$3" != "" ];then
		 backup_table=$3 #需要备份的表
		fi;
		getFromHbase "i" ${start_time} ${end_time} ${backup_table}
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' ""|backup_table|start_time end_time|start_time end_time backup_table'
    ;;
esac

=======================================================
#导入HBASE操作
#!/bin/bash

HBASE_HOME=/usr/idp/current/hbase-client
function ImportToHBase()
{   #指定hdfs用户执行命令
	sudo -u hdfs hadoop fs -rmr /bak/${backup_table};
	sudo -u hdfs hadoop fs -put /home/centos/opt/${backup_table} /bak
	hbase org.apache.hadoop.hbase.mapreduce.Import ${backup_table} /bak/${backup_table}
}
if [ "$1" != "" ];then
   backup_table=$1
   ImportToHBase ${backup_table}
else
	for backup_table in `echo "list" | $HBASE_HOME/bin/hbase shell | grep '^phm_default_'` 
	do
		ImportToHBase ${backup_table}
	done
fi

4.小 结

   本文主要讲解Hbase数据备份及迁移方法，备份主要采用HBase自带的工具Export进行备份，该备份工具结合shell脚本可有效的实现Hbase层的增量备份与全量备份，对于备份好的数据需要实现不同网络之间集群的数据迁移时可以采用Import工具进行数据导入，文章给出了完整的数据备份及迁移解决方案，并在实际中得到了良好的应用。

莫叫石榴姐
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase数据备份与恢复.pdf
08-29
HBase数据备份与恢复技术是在云计算环境下，为了保证大规模分布式数据库的数据安全，提供数据恢复能力的重要技术手段。HBase作为Apache开源项目Hadoop的数据库子项目，是一个分布式的、面向列的开源数据库，适用于非...
hbase备份恢复实例
03-14
本文将详细介绍HBase中的几种备份恢复方法，包括快照(Snapshots)、复制(Replication)、导出/导入(Export/Import)以及拷贝表(CopyTable)等，并通过具体示例加以说明。 #### 二、HBase备份恢复概述 HBase提供了多种...
HBase在线数据备份
吃果冻不吐果冻皮
07-05 2353
简述hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和HLog来实现的。当请求发送给master cluster时，HLog日志放入hdfs的同时进入replication队列，由slave cluste
hbase 备份及恢复
fred000001的博客
11-10 326
[b]1, hbase自带的备份恢复工具[/b] hbase org.apache.hadoop.hbase.mapreduce.Export 'table1' /home/fred/table1 hbase org.apache.hadoop.hbase.mapreduce.Import 'table1' /home/fred/table1 导入时必须先创建表结构。 [url]htt...
HBase集群的备份和恢复
互联网知识分享
09-03 485
备份和恢复是HBase集群管理中非常重要的一部分。备份是指将HBase表和数据复制到另一个位置，以防止数据丢失或灾难发生。恢复是指从备份中恢复HBase表和数据，以恢复数据的完整性。
linux中将hdfs数据导入hbase,linux、hdfs、hive、hbase经常使用的命令
weixin_42525569的博客
05-12 260
linux经常使用命令pwd查看当前工作文件夹的绝对路径cat input.txt查看input.txt文件的内容ls显示当前文件夹下全部的文件及子文件夹rm recommender-dm-1.0-SNAPSHOT-lib.jar删除当前文件夹下recommender-dm-1.0-SNAPSHOT-lib.jar文件cp /home/deploy/pctr/recommender-dm_fat....
HBase Backup Options
记录些细节的东西
08-23 135
If you are thinking about using HBase you will likely want to understand HBase backup options. I know we did, so let us share what we found. Please let us know what we missed and what you use for HB...
HBase数据备份与恢复策略
# 1. HBase数据库备份与恢复简介 ### 1.1 HBase数据库简介 HBase是一款分布式的、面向列的NoSQL数据库，基于Hadoop的HDFS存储...对于HBase数据库来说，数据备份与恢复更是重要，因为HBase通常用于存储大规模和关键的
行业分类-设备装置-一种将关系型数据迁移至HBase的方法及系统.zip
09-11
标题中的“行业分类-设备装置-一种将关系型数据迁移至HBase的方法及系统”表明了这个主题涉及的是信息技术领域，特别是数据管理和存储系统。在这个场景中，关系型数据库（如MySQL, Oracle等）的数据被转换和迁移到...
hbase海量数据的全量导入方法
05-10
hbase海量数据的全量导入方法，大数据导入。
HBase中的备份和故障恢复方法
iAm333的专栏
07-28 8511
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。 随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级
Windows或者Linux本地提交mapreduce上yarn坑记
L
02-23 789
Windows或者Linux上local模式运行 Windows或者Linux上yarn模式运行 Windows或者Linux上远程提交到yarn （1）问题一 2021-02-22 20:24:16,478 INFO [main] client.RMProxy (RMProxy.java:createRMProxy(98)) - Connecting to ResourceManager at single/192.168.128.11:8032 2021-02-22 2...
Hadoop运行报错，进入安全模式
小松鼠的博客
10-25 4398
在Hadoop运行时报如下错误： 18/10/24 03:16:30 INFO client.RMProxy: Connecting to ResourceManager at hdp-node-01/192.168.186.101:8032 18/10/24 03:16:32 INFO mapreduce.JobSubmitter: Cleaning up the staging area ...
HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案
最新发布
Laurence的技术博客
12-25 3414
本文首发于Apache HBase公众号。介绍的演练操作源于某真实案例，用户有一个接近 100 TB 的 HBase 数据库，其中有一张超大表，数据量约为数十TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：使用全量快照 + 实时同步（Snapshot + Replication）的方式将一个数十TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。
（求助帖）写了一个简单的mapreduce程序，遇到这个问题，实在解决不了了，求助大佬们
邢春辉的博客
11-01 574
错误如下： Exception in thread "main" java.io.IOException: The ownership on the staging directory /tmp/hadoop-yarn/staging/root/.staging is not as expected. It is owned by xch. The directory must be owned...
关于mapreduce运行错误
qq_38269781的博客
12-11 1448
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps 报异常就是Hadoop环境中缺少yarn文件中的jar包，导入即可
hadoop异常之输入路径不存在
alanlonglong的博客
01-23 5386
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://mycluster/pythontout         at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedList
HBase备份恢复：快照与复制详解
"HBASE备份恢复实例" 在HBase中，数据的安全性和可靠性是至关重要的，因此，HBase提供了多种备份和恢复策略来确保在出现问题时能够迅速恢复数据。以下是关于HBase备份恢复的详细说明： 1. **Snapshots（快照）** ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值