一台机器作为namenode节点 及resourcemanager节点,两台机器作为datanode节点及nodemanager节点。
1、配置三台服务器的/etc/hosts,或者使用DNS服务器。
2、三台机器安装jdk1.8.0_102及配置好环境变量。
3、创建系统用户。
4、配置免密码登陆。
5、解压hadoop压缩包,并在
hadoop目录下,建立tmp、hdfs/name、hdfs/data目录
6、修改
hadoop-env.sh,指定
JAVA_HOME
7、修改
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master.spark.com:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/cooljack/hadoop-2.7.5/tmp</value>
</property>
8、修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/cooljack/hadoop-2.7.5/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/cooljack/hadoop-2.7.5/hdfs/data</value>
</property>
9、修改mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
10、修改slaves
slave1.spark.com
slave2.spark.com
11、把hadoop文件目录同步到其他节点。
12、格式化bin/hdfs namenode -format
13、运行sbin/start-all.sh