Linux部署Hadoop集群

1、获取安装包

• 官网：http://hadoop.apache.org/

2、上传

• 把安装包上传到服务器
• 上传的方式
  • 通过xftp上传
  • 通过lrzsz上传
    两种上传方式详见jdk部署：https://blog.csdn.net/weixin_44744442/article/details/119815062

3、安装jdk

• 详见：https://blog.csdn.net/weixin_44744442/article/details/119815062

4、准备服务器

• 准备N个服务器，本文以三个为例
• 关闭防火墙
  • centos6

#查看防火墙关闭状态
service iptables status
#临时关闭
service iptables stop
#永久关闭防火墙
chkconfig iptables off

• centos7

#查看防火墙状态
firewall-cmd --state
#停止防火墙
systemctl stop firewalld.service
#永久关闭防火墙
systemctl disable firewalld.service 

5、设置映射

• 修改 /etc/hosts 增加三台服务器的ip和主机名

192.168.182.102 hadoop1
192.168.182.103 hadoop2
192.168.182.104 hadoop3

• 准备的服务器都需要修改，可以直接拷贝

#把本机的/etc/hosts拷贝到192.168.182.103用户名为root的/etc路径下
scp /etc/hosts root@192.168.182.103:/etc

6、设置SSH免密码登录

1. 生成私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2. 各自的私钥追加到公钥中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 把hadoop2和hadoop3追加到hadoop1的/.ssh/authorized_keys中，并且拷贝到hadoop2和hadoop3的/.ssh/authorized_keys中

7、上传并解压hadoop，移动到适当的位置

#解压语句
tar -zxf hadoop.tar.gz
#移动语句
mv hadoop /

8、配置环境变量

• 在/etc/profile中增加以下内容

export HADOOP_HOME=/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9、刷新环境变量

source /etc/profile

10、验证

hadoop

• 验证结果如下
  

11、创建临时目录

mkdir /usr/local/hadoop/temp

12、创建namenode目录

mkdir -p /usr/local/hadoop/hdfs/name

13、创建datanode目录

mkdir -p /usr/local/hadoop/hdfs/data

14、修改hadoop配置文件

1. 拷贝 /usr/local/hadoop/etc/hadoop/mapred-site.xml.template（模板文件）成为mapred-site.xml文件

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template mapred-site.xml

2. 修改slaves：填入三个主机名
3. 修改hadoop-ens.sh中的JAVA_HOME参数

• hadoop-ens.sh的路径 /usr/local/hadoop/etc/hadoop

export JAVA_HOME=/usr/local/java

4. 添加yarn-env.sh中JAVA_HOME参数

export JAVA_HOME=/usr/local/java

5. 修改core-site.xml（核心文件，配置对外访问路径）

 <property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop:9000</value> （主机ip）
  <description>HDFS的URI</description>
 </property>
 <property>
  <name>dfs.name.dir</name>
  <value>/hadoop/temp</value>
  <description>临时目录</description>
 </property>

6. 修改hdfs-site.xml

<property>
 <name>dfs.name.dir</name>
 <value>/usr/local/hadoop/hdfs/name</value>
 <description>namenode元数据</description>
</property>
<property>
 <name>dfs.data.dir</name>
 <value>/usr/local/hadoop/hdfs/data</value>
 <description>datanode元数据</description>
</property>
<property>
 <name>dfs.replication</name>
 <value>3</value>
 <description>数据备份个数</description>
</property>

7. 修改mapred-site.xml

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

8. 修改yarn-site.xml

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 <description>启动shuffle</description>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>centos6-hadoop1:8099</value>
 <description>yarn的web监视端口</description>
</property>

15、把hadoop拷贝到其他服务器上

scp -r /usr/local/hadoop root@hadoop2:/usr/local/
scp -r /usr/local/hadoop root@hadoop3:/usr/local/

16、格式化

/usr/local/hadoop/bin/hdfs namenode -format

17、启动

start-dfs.sh

18、平台登录

1. web管理平台

• http://ip:50070/

2. yarn监控平台

• http://ip:8099/