大数据
zy_41015
这个作者很懒,什么都没留下…
展开
-
搭建HDFS集群的客户端
此文章主要讲述集群内操作的缺点以及如何配置集群的客户端。 不建议集群内操作: 如果每一次上传文件都是选择某一台DN作为客户端,就会导致这个节点上的磁盘以及网络IO负载超过其他的节点,久而久之这个节点的磁盘以及网卡性能远远低于其他节点,从而导致数据的倾斜问题。 一般要进行集群外操作,配置集群的客户端。 配置集群客户端的步骤: 1、新建一台虚拟机,修改虚拟机的hosts文件(修改内容...原创 2018-10-14 19:27:51 · 704 阅读 · 0 评论 -
在eclipse中操作HDFS
本文主要讲述如何在本地eclipse操作HDFS集群 1.配置hadoop的插件,以便在eclipse中操作HDFS 1)在eclipse的安装路径下查看是否有dropins文件夹,若没有则新建一个。 2)在dropins文件夹下创建plugins文件夹。 3)把hadoop-eclipse-plugin-2.6.0.jar包放到plugins文件夹下。 2.重启eclips...原创 2018-10-14 20:13:17 · 1237 阅读 · 0 评论