Hadoop运行环境搭建(CentOS 7+JDK1.8+Hadoop2.7.2)

Hadoop运行环境搭建(CentOS 7+JDK1.8+Hadoop2.7.2)

本教程基于CentOS 7，NET连接

配置虚拟机网络(登陆ROOT用户)

1.查找网卡信息

ip addr

找到网卡名字<我的网卡名字为：eth0>

2.修改网卡信息

vi /etc/sysconfig/network-scripts/ifcfg-eth0

将网卡信息设置为

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_PRIVACY=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
UUID=538a69bd-c265-42e7-a59c-234d38c8e06e
IPADDR=192.168.233.200
GATEWAY=192.168.233.2
REFIX=24
DNS1=8.8.8.8

BOOTPROTO=static<原来为dhcp，设置为static>
ONBOOT=yes<网卡开机启动>
IPADDR=192.168.233.200<设置网卡静态IP>
GATEWAY=192.168.233.2<设置网卡网关>
DNS1=8.8.8.8<修改这个配置可以避免yum安装错误>

3.重启网卡后配置生效

service network restart

安装虚拟机net-tools工具<可以不安装，看个人习惯>

yum -y install net-tools

更新yum资源<可以不更新，看个人习惯>

yum -y update

修改主机名

vi /etc/hostnaem

关闭防火墙

1.停止firewall

systemctl stop firewalld.service 

2.禁止firewall开机启动

systemctl disable firewalld.service 

3.查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

firewall-cmd --state 

创建用户配置用户具有root权限

1.创建用户

adduser hadoop （创建用户hadoop）
passwd hadoop （创建hadoop的密码）

2.增加 sudoers 文件的写的权限，默认为只读

chmod -v u+w /etc/sudoers

3.修改sudoers

vi /etc/sudoers 

找到Allow root to run any commands anywhere

root ALL=(ALL) ALL

hadoop ALL=(ALL) NOPASSWD: ALL （添加这一行）

保存，退出

4.删除 sudoers 的写的权限

chmod -v u-w /etc/sudoers

到此为止就创建好了一个hadoop用户可以免密码使用sudo命令

安装JDK\Hadoop(登陆hadoop用户)

1.在/opt目录下创建module、software文件夹

sudo mkdir module
sudo mkdir software

2.修改module、software文件夹的操作权限

sudo chmod -777 /opt/module
sudo chmod -777 /opt/module

3.用Xftp工具将JDK\Hadoop导入到opt目录下面的software文件夹下面

4.解压JDK\Hadoop到/opt/module目录下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

5.配置JDK\Hadoop环境变量

(1)先获取JDK\Hadoop路径

pwd

/opt/module/jdk1.8.0_144

pwd

/opt/module/hadoop-2.7.2

(2)打开/etc/profile文件

sudo vi /etc/profile

(3)在profile文件末尾添加JDK\Hadoop路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

(4)保存后退出，让修改后的文件生效

source /etc/profile

到此为止Hadoop运行环境就搭建完成了，接下来还有一些补充的资料：

1. bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
2. etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
3. lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
4. sbin目录：存放启动或停止Hadoop相关服务的脚本
5. share目录：存放Hadoop的依赖jar包、文档、和官方案例

配置环境变量写的比较粗，小白看不懂的就上网查一下把 =。=