HBase数据迁移实现

方式很多,我使用的是Export与Import感觉还挺好用的,我使用的场景有几种,以下会分别说明:

我的需求是将老集群数据迁移到新集群,但是有两种情况:

1.两个集群网络能够联通;

2.两个集群网络不能联通。

先说能联通的情况及遇到的问题:

root登陆集群1.

执行以下命令,我的前提是我执行hbase shell是可以正常执行的。

hbase org.apache.hadoop.hbase.mapreduce.Export tablename hdfs://新集群IP:8020/test/tablename

我的这个表数据不多,因此导出速度很快,中间没有disable表。

之后登陆新进去执行导入操作

hbase org.apache.hadoop.hbase.mapreduce.Import tablename hdfs://新集群IP:8020/lwb/tablename

在这里我报了一个错误

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x  

这个错误的意思是,root没有hdfs的权限,网上说2个办法1.给root权限,2修改hdfs参数之后重启。

我都没用,我是直接切换到了hdfs用户#su hdfs

这个用户我没设置密码,进行之后直接执行上边的导入命令,又异常了,导入失败

Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 1619 actions: tablename: 1619 times, 

原因是我在新的hbase库中没创建表,于是我创建了表名是tablename的新表。

之后再执行导入,导入成功。


2.两个集群完全不联通的情况

1.将旧集群的表数据导出到旧集群本身的hdfs里

hbase org.apache.hadoop.hbase.mapreduce.Export tablename hdfs://旧集群IP:8020/test/tablename

2.下载hdfs文件,这里我是使用java程序下载的文件,代码如下.

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.permission.FsAction;
import org.apache.hadoop.fs.permission.FsPermission;
import org.apache.hadoop.io.IOUtils;

public class HDFSTest {
	private static String HDFSUri = "hdfs://10.10.1.68:8020";//这里注意下载上传的时候,修改成旧集群和新集群的IP地址

	public static void main(String[] args) throws Exception {
		String HDFSFile = "/lwb/FASTAChargeMsg";
		String localFile = "D:\\FASTAChargeMsg";
		// 连接fs
		System.setProperty("HADOOP_USER_NAME", "hdfs");// 这句必须加,否是会报权限错误,而hdfs是hadoop的用户名,这个账号是有权限操作hdfs的
		FileSystem fs = getFileSystem();
		System.out.println(fs.getUsed());
		// 创建路径
		// mkdir("/zhaojy2");
		// // 验证是否存在
		// System.out.println(existDir("/zhaojy2", false));
		// // 上传文件到HDFS
		copyFileToHDFS("D:\\part-m-00002", "/lwb/FASTAGPRSMsg/part-m-00002");

		// 下载文件到本地
//		 getFile("/lwb/FASTAGPRSMsg/part-m-00002", "D:\\part-m-00002");
		// getFile(HDFSFile,localFile);
		// 删除文件
//		rmdir("/lwb/FASTAGPRSMsg");
		// // 读取文件
		// readFile("/zhaojy/HDFSTest.txt");
	}

	/**
	 * 获取文件系统
	 *
	 * @return FileSystem 文件系统
	 */
	public static FileSystem getFileSystem() {
		// 读取配置文件
		Configuration conf = new Configuration();
		// 文件系统
		FileSystem fs = null;
		String hdfsUri = HDFSUri;
		if (StringUtils.isBlank(hdfsUri)) {
			// 返回默认文件系统 如果在 Hadoop集群下运行,使用此种方法可直接获取默认文件系统
			try {
				fs = FileSystem.get(conf);
			} catch (IOException e) {
				e.printStackTrace();
			}
		} else {
			// 返回指定的文件系统,如果在本地测试,需要使用此种方法获取文件系统
			try {
				URI uri = new URI(hdfsUri.trim());
				fs = FileSystem.get(uri, conf);
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
		return fs;
	}

	/**
	 * 创建文件目录
	 *
	 * @param path
	 *            文件路径
	 */
	public static void mkdir(String path) {
		try {
			FileSystem fs = getFileSystem();
			System.out.println("FilePath=" + path);
			// 创建目录
			fs.mkdirs(new Path(path));
			// 释放资源
			fs.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 * 判断目录是否存在
	 *
	 * @param filePath
	 *            目录路径
	 * @param create
	 *            若不存在是否创建
	 */
	public static boolean existDir(String filePath, boolean create) {
		boolean flag = false;

		if (StringUtils.isEmpty(filePath)) {
			return flag;
		}

		try {
			Path path = new Path(filePath);
			// FileSystem对象
			FileSystem fs = getFileSystem();

			if (create) {
				if (!fs.exists(path)) {
					fs.mkdirs(path);
				}
			}

			if (fs.isDirectory(path)) {
				flag = true;
			}
		} catch (Exception e) {
			e.printStackTrace();
		}

		return flag;
	}

	/**
	 * 本地文件上传至 HDFS
	 *
	 * @param srcFile
	 *            源文件 路径
	 * @param destPath
	 *            hdfs路径
	 */
	public static void copyFileToHDFS(String srcFile, String destPath) throws Exception {

		FileInputStream fis = new FileInputStream(new File(srcFile));// 读取本地文件
		Configuration config = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(HDFSUri + destPath), config);
		Path p = new Path(HDFSUri + destPath);
		OutputStream os = fs.create(p);
		FsPermission permission = new FsPermission(FsAction.ALL, FsAction.ALL, FsAction.ALL);
		fs.setPermission(p, permission);
		// copy
		IOUtils.copyBytes(fis, os, 4096, true);
		System.out.println("拷贝完成...");
		fs.close();
	}

	/**
	 * 从 HDFS 下载文件到本地
	 *
	 * @param srcFile
	 *            HDFS文件路径
	 * @param destPath
	 *            本地路径
	 */
	public static void getFile(String srcFile, String destPath) throws Exception {
		// hdfs文件 地址
		String file = HDFSUri + srcFile;
		Configuration config = new Configuration();
		// 构建FileSystem
		FileSystem fs = FileSystem.get(URI.create(file), config);
		// 读取文件
		InputStream is = fs.open(new Path(file));
		IOUtils.copyBytes(is, new FileOutputStream(new File(destPath)), 2048, true);// 保存到本地
																					// 最后
																					// 关闭输入输出流
		System.out.println("下载完成...");
		fs.close();
	}

	/**
	 * 删除文件或者文件目录
	 *
	 * @param path
	 */
	public static void rmdir(String path) {
		try {
			// 返回FileSystem对象
			FileSystem fs = getFileSystem();

			String hdfsUri = HDFSUri;
			if (StringUtils.isNotBlank(hdfsUri)) {
				path = hdfsUri + path;
			}
			System.out.println("path:" + path);
			// 删除文件或者文件目录 delete(Path f) 此方法已经弃用
			System.out.println(fs.delete(new Path(path), true));

			// 释放资源
			fs.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 * 读取文件的内容
	 * 
	 * @param filePath
	 * @throws IOException
	 */
	public static void readFile(String filePath) throws IOException {
		Configuration config = new Configuration();
		String file = HDFSUri + filePath;
		FileSystem fs = FileSystem.get(URI.create(file), config);
		// 读取文件
		InputStream is = fs.open(new Path(file));
		// 读取文件
		IOUtils.copyBytes(is, System.out, 2048, false); // 复制到标准输出流
		fs.close();
	}
}

3.利用上边的程序将文件上传到新的集群上。

4.在新的集群上运行导入命令,与联通方式要注意的事项是一样的。

hbase org.apache.hadoop.hbase.mapreduce.Import tablename hdfs://新集群IP:8020/lwb/tablename

这里我测试的是一张表有300多万条数据,,大小在2G左右,导入和导出速度还可以。




已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页