大数据
dzhxie
这个作者很懒,什么都没留下…
展开
-
hadoop 2.8.3 集群搭建
因为公司项目需要,开始搭建hadoop的集群环境。在这个过程中,主要参考了 http://blog.csdn.net/pucao_cug/article/details/71698903。非常感谢此文的作者。 基本按照这个走下来是没有问题的。这里只是加一些注意事项。 平台: JDK: 1.8.60 Hadoop: 2.8.3. Centos 7 64 位: 3 个。 需要注意...原创 2017-12-28 11:01:18 · 211 阅读 · 0 评论 -
hadoop hdfs 基本操作
我用的是hadoop 2.8.3 在 Centos 7 上面,所以下面的一些命令也是针对这个版本的。 因为不同的版本之间命令有可能是不一样的。 安装好hadoop 以后,就是看下怎么样往上面放文件了。目前主要是两种方式,一种是shell,也就是用hdfs 的命令方式,另外就是Java。 Shell 方式。 1.首先要cd 到hadoop 的bin 目录下,下面有hdfs 的命令...2017-12-28 15:06:17 · 166 阅读 · 0 评论 -
Hadoop HA cluster 搭建步骤
环境准备和计划: 5台 Centos 7 虚拟机, 规划如下: HostName Softwares Process comments kencentos1 JDK, hadoop namenode, zkfc (active), resourceManager namenode 1, resourceManger kencentos2 JDK,...2018-01-10 13:52:50 · 168 阅读 · 0 评论