Hadoop集群搭建
安装hadoop
- 下载hadoop
- 将下载的hadoop包解压缩到
/usr/local
文件夹下 - 配置hadoop环境变量
配置hadoop
cd hadoop/etc/hadoop/
修改core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://spark1:9000</value>
</property>
修改hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
修改mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改slaves
spark1
spark2
spark3
启动hadoop
配置另外两台
- 使用如上配置在另外两台机器上搭建
hadoop
,可以使用scp
命令将spark1
上面的hadoop
安装包和.bashrc
配置文件都拷贝过去。 - 要记得对
.bashrc
文件进行source
,以让它生效。 - 记得在
spark2
和spark3
的/usr/local
目录下创建data
目录。
启动hdfs集群
- 格式化
namenode
:在spark1
上执行以下命令,hdfs namenode -format
- 启动hdfs集群:
start-dfs.sh
- 验证启动是否成功:
jps、50070
端口
spark1:namenode、datanode、secondarynamenode
spark2:datanode
spark3:datanode
启动yarn集群
- 启动yarn集群:
start-yarn.sh
- 验证启动是否成功:
jps、8088
端口
spark1:resourcemanager、nodemanager
spark2:nodemanager
spark3:nodemanager