这篇文章主要讲集群内操作的缺点,和如何配置集群的客户端
不建议集群内操作:
如果每一次上传文件都是选择某一台DN作为客户端,就会导致这个节点上的磁盘以及网络IO负载超过其他的节点,久而久之这个节点的磁盘以及网卡性能远远低于其他节点,从而导致数据的倾斜问题。
所以要进行集群外操作,配置集群的客户端
配置集群客户端的步骤:
1、找一台新的虚拟机、服务器、。这台服务器必须能够与集群通信(与其余节点ping通)
2、将配置好的安装包原封不动的拷贝到新的服务器
3、配置环境变量 方便操作HDFS集群
4、在客户端正常操作HDFS集群就可以了