hdfs数据迁移经验

1.1. 不同KDC（Key Distribution Center）之间Kerberos互信

1.1.1. 配置集群层面的互信（集群间网络层可以互相访问）

适用于：hdfs distcp

配置两个不同kerberos认证中心的集群间的互信：

https://www.jianshu.com/p/2281e3fe6485

1.1.2. 应用层切换相关环境变量（集群间网络层不通）

适用于：Java程序

Java代码中：

原集群：

System.setProperty("java.security.krb5.conf", "/etc/krb5Src.conf");

UserGroupInformation.loginUserFromKeytab(principalSrc, keytabPathSrc);

// 进行后续的Hadoop操作

// 例如访问HDFS或其他Hadoop服务

FileSystem fsSrc = FileSystem.get(confSrc);            

// 指定HDFS上的文件路径

Path filePathSrc = new Path("/path/to/your/input.txt");            

// 打开文件输入流

FSDataInputStream in = fs.open(filePathSrc);

目标集群：

System.setProperty("java.security.krb5.conf", "/etc/krb5Sink.conf");

UserGroupInformation.loginUserFromKeytab(principalSink, keytabPathSink);

// 进行后续的Hadoop操作

// 例如访问HDFS或其他Hadoop服务

FileSystem fsSink = FileSystem.get(confSink);            

// 指定HDFS上的文件路径

Path filePathSink = new Path("/path/to/your/output.txt");         

// 创建文件输出流

FSDataOutputStream out = fs.create(filePathSink);

kinit命令 KRB5_CONFIG

1.2. 基于流，并发分片读取HDFS单个大文件

确定分片数，每个chunk的起始和结束位置

使用线程池并发读取每个chunk

file.seek（定位 读取的起始位置）

视需求是否合并

注意事项：

1、确保文件足够大以从并发读取中受益。对于小文件，并发读取可能不会带来性能提升，反而可能因额外的线程调度开销而降低效率。

2、调整chunk数以找到最佳的并行度。过多的chunk可能导致线程调度开销增加，而过少则可能无法充分利用多核CPU的并行处理能力。

3、结合数据块大小（dfs.blocksize）确定分片数，尽量单个线程内避免跨越块边界，可能会影响性能。