搭建本地测试的Hadoop环境

搭建Hadoop环境

最近在学习大数据方面的技术，记录一下，加强理解。

准备工作

1. 安装虚拟机
2. 安装linux
3. 安装JDK
4. 关闭防火墙
5. 配置主机名
6. 配置免密码登录

伪分布安装

先完成上面的准备工作，伪分布就是在单机上，模拟一个分布式的环境具备Hadoop的主要功能。
HDFS: namenode+datanode+secondarynamenode
Yarn: resourcemanager + nodemanager
IP是192.168.198.111，主机名是 bigdata111 ，JDK 1.8。
安装的是hadoop 2.7.3的版本
解压：tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

设置Hadoop的环境变量: vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH= HADOOP_HOME/bin:HADOOP_HOME/sbin:PATH
export PATH

生效
source ~/.bash_profile

配置hadoop-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144

配置 hdfs-site.xml

&l