Hadoop 安装

一、配置要求

1. 网卡配置 查看详细配置信息

2. 修改host映射

// 编辑 hosts 目录
vi /etc/hosts

// 修改信息
192.168.137.128 hadoop01
192.168.137.129 hadoop02
192.168.137.139 hadoop03

3. 配置主机名

// 编辑 network 目录
vi /etc/sysconf/network
	
// 修改信息
HOSTNAME=hadoop01

4. 关闭防火墙

// centos7前
service iptables stop
chkconfig iptables off

// centos7+
systemctl stop firewalld
systemctl disable firewalld

5. jdk配置 查看详细配置信息

6. 免密登录ssh

// 安装免密登录客户端
yum install -y openssh-clients

// 生成公钥私钥
ssh-keygen
	
// 发送公钥私钥
ssh-copy-id  hadoop01 (所有的好友都需发送一份)

二、安装 Hadoop

1. 将 tar 包上传到 /opt 目录下

2. 解压 tar 包

`tar -zxvf  /opt/hadoop-2.7.3.tar.gz -C /usr/local`

3. 修改hadoop配置信息（进入 etc 下 hadoop 目录）

1. hadoop-env.sh

   # The java implementation to use.
   export JAVA_HOME=/usr/local/jdk1.8.0_211
   

2. core-site.xml

   <configuration>
   	// 指定 HDFS 中的NameNode的地址
   	<property>
   		<name>fs.defaultFS</name>
   		<value>hdfs://hadoop01:9000</value>
   	</property>
   
   	// 指定 Hadoop 运行时产生文件的存储目录
   	<property>
   		<name>hadoop.tmp.dir</name>
   		<value>/usr/local/hadoop-2.7.3/tmp</value>
   	</property>
   </configuration>
   

3. hdfs-site.xml

   <configuration>
   	// 设置存放 NameNode 的文件路径
   	<property>
   		<name>dfs.namenode.name.dir</name>
   		<value>/usr/local/hadoop-2.7.3/data/name</value>
   	</property>
   	
   	// 设置存放 DataNode 的文件路径
   	<property>
   		<name>dfs.datanode.data.dir</name>
   		<value>/usr/local/hadoop-2.7.3/data/data</value>
   	</property>
   	
   	// 指定 HDFS 副本的数量
   	<property>
   		<name>dfs.replication</name>
   		<value>3</value>
   	</property>
   	
   	// SNN的tracker页面监听地址和端口
   	<property>
   		<name>dfs.secondary.http.address</name>
   		<value>hadoop01:50090</value>
   	</property>
   </configuration>
   

4. mapred-site.xml ( 先执行：mv mapred-site.xml.template mapred-site.xml )

   <configuration>
   	// 指定运行 mapreduce 的环境变量时yarn
   	<property>
   		<name>mapreduce.framework.name</name>
   		<value>yarn</value>
   	</property>
   </configuration>
   

5. yarn-site.xml

   <configuration>
   	// 指定 YARN 的 ResourceManager 的地址
   	<property>
   		<name>yarn.resourcemanager.hostname</name>
   		<value>hadoop01</value>
   	</property>
   	
   	// Reducer 获取数据的方式
   	<property>
   		<name>yarn.nodemanager.aux-services</name>
   		<value>mapreduce_shuffle</value>
   	</property>
   </configuration>
   

6. slaves

   // 从节点映射名
   hadoop02
   hadoop03
   

4. 配置环境变量

// 进入 /etc/profile
vi /etc/profile

// 配置环境变量
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. 发送文件

1. hosts

   scp /etc/hosts hadoop02:/etc
   

2. jdk

   scp -r /usr/local/jdk1.8.0_211 hadoop02:/usr/local
   

3. hadoop

   scp -r /usr/local/hadoop-2.7.3 hadoop02:/usr/local
   

4. 环境变量配置文件

   scp /etc/profile hadoop02:/etc
   

三、启动集群

1. 初始化 HDFS ( 在hadoop01中操作 / 仅需第一次执行时)

hadoop  namenode  -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

第二步和第三部可以使用 start-all.sh 代替

4. 验证是否成功

输入网址：192.168.137.128:50070

输入网址：192.168.137.128:8088/cluster