1.1. 不同KDC(Key Distribution Center)之间Kerberos互信
1.1.1. 配置集群层面的互信(集群间网络层可以互相访问)
适用于:hdfs distcp
配置两个不同kerberos认证中心的集群间的互信:
https://www.jianshu.com/p/2281e3fe6485
1.1.2. 应用层切换相关环境变量(集群间网络层不通)
适用于:Java程序
Java代码中:
原集群:
System.setProperty("java.security.krb5.conf", "/etc/krb5Src.conf");
UserGroupInformation.loginUserFromKeytab(principalSrc, keytabPathSrc);
// 进行后续的Hadoop操作
// 例如访问HDFS或其他Hadoop服务
FileSystem fsSrc = FileSystem.get(confSrc);
// 指定HDFS上的文件路径
Path filePathSrc = new Path("/path/to/your/input.txt");
// 打开文件输入流
FSDataInputStream in = fs.open(filePathSrc);
目标集群:
System.setProperty("java.security.krb5.conf", "/etc/krb5Sink.conf");
UserGroupInformation.loginUserFromKeytab(principalSink, keytabPathSink);
// 进行后续的Hadoop操作
// 例如访问HDFS或其他Hadoop服务
FileSystem fsSink = FileSystem.get(confSink);
// 指定HDFS上的文件路径
Path filePathSink = new Path("/path/to/your/output.txt");
// 创建文件输出流
FSDataOutputStream out = fs.create(filePathSink);
kinit命令 KRB5_CONFIG
1.2. 基于流,并发分片读取HDFS单个大文件
确定分片数,每个chunk的起始和结束位置
使用线程池并发读取每个chunk
file.seek(定位 读取的起始位置)
视需求是否合并
注意事项:
1、确保文件足够大以从并发读取中受益。对于小文件,并发读取可能不会带来性能提升,反而可能因额外的线程调度开销而降低效率。
2、调整chunk数以找到最佳的并行度。过多的chunk可能导致线程调度开销增加,而过少则可能无法充分利用多核CPU的并行处理能力。
3、结合数据块大小(dfs.blocksize)确定分片数,尽量单个线程内避免跨越块边界,可能会影响性能。