spark学习笔记-hadoop2.4.1集群搭建（3）

安装hadoop包

1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。

2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz

3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop

4、配置hadoop相关环境变量 vi .bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin source .bashrc

修改core-site.xml

1 <property>
2   <name>fs.default.name</name>
3   <value>hdfs://spark1:9000</value>
4 </property>

修改hdfs-site.xml

 1 <property>
 2   <name>dfs.name.dir</name>
 3   <value>/usr/local/data/namenode</value>
 4 </property>
 5 <property>
 6   <name>dfs.data.dir</name>
 7   <value>/usr/local/data/datanode</value>
 8 </property>
 9 <property>
10   <name>dfs.tmp.dir</name>
11   <value>/usr/local/data/tmp</value>
12 </property>
13 <property>
14   <name>dfs.replication</name>
15   <value>3</value>
16 </property>

修改mapred-site.xml

1 <property>
2   <name>mapreduce.framework.name</name>
3   <value>yarn</value>
4 </property>

修改yarn-site.xml

1 <property>
2   <name>yarn.resourcemanager.hostname</name>
3   <value>spark1</value>
4 </property>
5 <property>
6   <name>yarn.nodemanager.aux-services</name>
7   <value>mapreduce_shuffle</value>
8 </property>

修改slaves文件

1 spark1
2 spark2
3 spark3

在另外两台机器上搭建hadoop

1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将spark1上面的hadoop安装包和.bashrc配置文件都拷贝过去。

2、要记得对.bashrc文件进行source，以让它生效。

3、记得在spark2和spark3的/usr/local目录下创建data目录。

启动hdfs集群

1、格式化namenode：在spark1上执行以下命令，hdfs namenode -format

2、启动hdfs集群：start-dfs.sh

3、验证启动是否成功：jps、50070端口

spark1：namenode、datanode、secondarynamenode

spark2：datanode

spark3：datanode

启动yarn集群

1、启动yarn集群：start-yarn.sh

2、验证启动是否成功：jps、8088端口

spark1：resourcemanager、nodemanager

spark2：nodemanager

spark3：nodemanager

 

转载于:https://www.cnblogs.com/HeQiangJava/p/6719382.html