Hadoop运行环境搭建

Hadoop运行环境搭建
1.虚拟机环境准备

1. 克隆虚拟机
   ->快照->快照管理->拍摄快照->克隆
2. 修改克隆虚拟机的静态IP

提示：克隆后的虚拟机，新产生了一个mac地址
	vim /etc/udev/rules.d/70-persistent-net.rules
		1. 删除eth0这一行
		2. 将新产生mac地址所在行的eth1改成eth0
		3. 复制新产生的mac地址
		
	vim /etc/sysconfig/network-scripts/ifcfg-eth0
		1.将原有的mac地址改为新产生的mac地址
		2.修改静态ip地址 IPADDR

3. 修改主机名

vim /etc/sysconfig/network
		HOSTNAME
		
	修改主机和ip映射关系
	vim /etc/hosts
	ip地址 主机名

3. 关闭防火墙

service iptables stop
chkconfig iptables off

4. 创建wt用户

useradd wt
passwd 123456

5. 配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》）

vim /etc/sudoers
	再19行后添加如下内容
		wt     ALL=(ALL)       NOPASSWD:ALL

7．在/opt目录下创建文件夹
使用root用户

	mkdir /opt/software
	mkdir /opt/module
chown -R wt:wt module software

（1）在/opt目录下创建module、software文件夹

[wt@hadoop101 opt]$ sudo mkdir module
[wt@hadoop101 opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者cd 

[wt@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/
[wt@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 wt wt4096 1月  17 14:37 module
drwxr-xr-x. 2 wt wt4096 1月  17 14:38 software

安装JDK

1. 卸载现有JDK
   （1）查询是否安装Java软件：

[wt@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[wt@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

[wt@hadoop101 ~]$ which java

2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面,解压JDK到/opt/module目录下

[wt@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5. 配置JDK环境变量
   （1）先获取JDK路径

[wt@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件

[wt@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

:wq

（4）让修改后的文件生效

[wt@hadoop101 jdk1.8.0_144]$ source /etc/profile

6. 测试JDK是否安装成功

[wt@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

  注意：重启（如果java -version可以用就不用重启）

[wt@hadoop101 jdk1.8.0_144]$ sync
[wt@hadoop101 jdk1.8.0_144]$ sudo reboot

安装Hadoop
Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
   切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入

2. 进入到Hadoop安装包路径下

[wt@hadoop101 ~]$ cd /opt/software/

3. 解压安装文件到/opt/module下面

[wt@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4. 查看是否解压成功

[wt@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2

5. 将Hadoop添加到环境变量
   （1）获取Hadoop安装路径

[atguigu@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件

[wt@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）让修改后的文件生效

[wt@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6. 测试是否安装成功

[wt@hadoop101 hadoop-2.7.2]$ hadoop version

Hadoop 2.7.2
7. 重启(如果Hadoop命令不能用再重启)

[wt@ hadoop101 hadoop-2.7.2]$ sync
[wt@ hadoop101 hadoop-2.7.2]$ sudo reboot