Hadoop伪分布式运行环境建立

一、Linux环境搭建

镜像选择：CentOS-7-x86_64-DVD-1511.iso
下载链接：https://pan.baidu.com/s/1RLjHkCMqHP7RgptxrmAAYw
提取码：uoq0

系统初始化之后要做下面这个操作：

二、虚拟机配置

1.配置虚拟机固定IP

打开终端配置网卡

vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

修改“BOOTPROTO”和“ONBOOT”并且添加下面这段：

IPADDR=192.168.174.111
NETMASK=255.255.255.0
GATEWAY=192.168.174.2
DNS1=223.5.5.5

说明：虚拟网络的ip取决于虚拟网络编辑器里面的VMnet8的ip
修改完成重启网卡

service network restart

重启成功之后本机ping通虚拟机

三、关闭防火墙和SELinux

#1.查看防火墙状态
systemctl status firewalld

#2.关闭防火墙（一次性的，重启机器后又启用防火墙）
systemctl stop firewalld

#3.禁用防火墙
systemctl disable firewalld

vim /etc/sysconfig/selinux

四、设置主机名与ip地址映射

（1）设置主机名

#查看主机名
hostname
#修改主机名称
hostnamectl set-hostname bigdata1

（2）ip地址映射

vi /etc/hosts

192.168.46.111 bigdata1

！！！注意：主机名一定不要错，不然后面会一直报错

五、建立统一目录

为了方便管理上传至虚拟机服务器的软件，实验所需的压缩包和解压包分类存放在服务器上，所以统一建立目录：

压缩包存放目录：/data/software
解压后存放目录：/data/module

#新建压缩包存放目录
mkdir -p /data/software

#新建解压后存放目录
mkdir -p /data/module

建立完成之后查看/data目录

六、配置JDK环境！！！

（1）上传jdk的压缩包至Linux服务器的/data/software目录，不要看错文件目录
<Linux环境下面的JDK安装包>
链接：https://pan.baidu.com/s/1so4Bir5TH0xLeUPHmYfFhg
提取码：ti1f
（2）进入/data/software目录进行解压安装包

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /data/module

记住解压后的JDK的绝对路径：/data/module/jdk1.8.0_144

（3）删除Linux CentOS7自带的OpenJDK，若没有OpenJDK则此步骤跳过

1.检查是否有OpenJDK
java -version

2.查找和openjdk相关的文件
rpm -qa | grep java

3.删除和openjdk相关的文件（如果想要一次性删除，记得每个文件之间需要空格）

rpm -e --nodeps 

java-1.6.0-openjdk-1.6.0.36-1.13.8.1.el7_1.x86_64
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

java-1.6.0-openjdk-devel-1.6.0.36-1.13.8.1.el7_1.x86_64
java-1.7.0-openjdk-devel-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-devel-1.8.0.65-3.b17.el7.x86_64

完成后查看如图下：

（4）配置JDK全局环境变量

1.打开配置环境变量文件
vi /etc/profile
2.在文本最末尾添加两行环境变量信息（直接复制这段信息会出错，注意复制后的内容是否和以下一致）
export JAVA_HOME=/data/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

3.保存退出vi编辑器，后重新加载一次配置文件
source /etc/profile

# 4.检查JDK是否安装成功
java -version

七、安装Hadoop

（1）上传Hadoop的压缩包至Linux服务器的/data/software目录（方法和上传jdk一样）

hadoop-2.7.3.tar.gz的安装链接
链接：https://pan.baidu.com/s/1UZMJC4UtPgXTiqLNGndqyQ
提取码：8hky
下载好之后同样上传到/data/software目录
（2）解压Hadoop压缩包(hadoop-2.7.3.tar.gz)至/data/module目录

tar -zxvf hadoop-2.7.3.tar.gz -C /data/module

（3）配置Hadoop全局环境变量

1.打开配置环境变量文件
vim /etc/profile

2.在文本最末尾添加两行环境变量信息
export HADOOP_HOME=/data/module/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3.保存退出vi编辑器，后重新加载一个配置文件
source /etc/profile

4.检测hadoop安装成功
输入start-df 然后使用tab键可以补全成start-dfs. 代表配置成功

完成上面的步骤之后克隆一台虚拟机，取名为“Hadoop集群1”

至此Hadoop伪分布式运行环境就建立完成！