配置集群客户端和eclips

配置集群客户端

为什么要配置集群客户端：
不建议集群内操作，如果每一次上传文件都是选择某一台DN作为客户端， 就会导致这个节点_上的磁盘以及网络I0负载超过其他的节点，久而久之这个节点的磁盘以及网卡性能远远低于其他节点，从而会导致数据的倾斜问题。
所以，一般要集群外操作，配置集群的客户端。
配置集群客户端的步骤:
1、找一台新的虚拟机、服务器，这台服务器必须能够与集群通信
2、将配置好的jkd和hadoop安装包原封不动的拷贝到新的服务器
配置步骤参考：https://mp.csdn.net/postedit/83003119
3、配置环境变量 方便操作HDFS集群
修改 .bashrc文件
4、在客户端正常操作HDFS集群就可以了

eclipse视图下操作HDFS

在搭建好HDFS完全分布式或高可用性HDFS完全分布式后。
（若未部署参考：https://mp.csdn.net/postedit/83003119）
具体步骤：
1. 在eclipse中配置hadoop插件
去官网下载相关jar包

找到eclipse安装目录

将下载的jar放入以下目录中（如果没有则自行创建）

2.上述步骤完成后启动eclipse
（如果已经启动则重启）
进入菜单栏 window/show view
如图：
搜索Map/Reduce按钮并添加
在工具栏中出现如下图标则应用成功

在Map/Reduce窗口下添加HadoopLocation

LocationName 可以任意取一个
Host填写当前（active）状态下的NameNode节点主机域名
端口为：8020
点击finish，至此插件配置完成
Project Explorer 视图下出现以下窗口

则配置成功。

可以开心的在eclipse中操作HDFS了。