面试复盘之hadoop集群搭建过程

1. 如何搭建hadoop集群？（采用的云服务器，伪分布式）

• 1.删除系统自带的jdk

rpm -e --nodeps java____

• 2.创建两个新文件夹

mkdir /opt/sources    #放置源文件
mkdir /opt/modules    #放置解压后的文件

• 3.安装新jdk

• 4.安装hadoop

tar -zxvf 文件名

• 5.配置文件

1. 对安装后的hadoop和jdk进行文件配置

修改profile文件

export PATH
export JAVA_HOME=/opt/module/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH 

export HADOOP_HOME=/opt/module/hadoop-2.7.2 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile #使配置文件文件生效

2. 配置hadoop文件

常用配置：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers

• 6.设置免密登录

• 7.启动集群

第一次启动时需要格式化
bin/hdfs namenode -format