HDFS完全分布式搭建流程
系统架构:
系统配置
文件:/opt/hadoop-2.6.5/etc/hadoop/hadoop_env.sh
配置java环境路径
Export JAVA_HOME=/usr/java/jdk1.7.0_67
文件:/opt/hadoop-2.6.5/etc/hadoop/core-site.xml
配置项:
配置namenode基本路径
fs.defaultFS
hdfs://node1:9000
配置文件保存路径
hadoop.tmp.dir
/var/sxt/haoop/full
文件:/opt/hadoop-2.6.5/etc/haoop/hdfs-site.xml
配置项:
配置副本数量:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
配置项:
secondaryNameNode所在的主机及端口号:
dfs.namenode.secondary.http-address
node2:50090
文件:/opt/hadoop/etc/hadoop/slaves
配置项:DateNode主机
node2
node3
node4
将配置文件同步到所有节点
在NameNode上格式化
hdfs name -format
启动集群
start-dfs.sh