Hadoop环境安装

一、安装VM ware15 pro

二、新建虚拟机

安装centos7：

1、修改主机名

hostnamectl set-hostname hadoop01
#新打开一个终端，查看修改后的主机名为hadoop01
hostname
修改域名文件，使得ping hadoop01 可以ping通
vim /etc/hosts

2、将虚拟机的IP修改为静态IP，否则每次重新启动都会是一个新的IP地址

切换到root用户（修改ifcfg-enoxxxxx文件）

vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

修改前的文件信息：

修改后的文件信息：

修改文件后，查看虚拟机是否能正常上网，若是可以则文件配置修改成功；否则，多半是DNS的问题，需要自己进行排查。

3.关闭虚拟机的防火墙

查看防火墙的状态
firewall-cmd --state
显示
running
关闭防火墙
systemctl stop  firewalld.service
再进行查看防火墙的状态，应该显示为not running
设置防火墙重启虚拟机后不在开启

systemctl disable firewalld.service

4.设置普通用户具有root权限（可选）

参考链接：https://blog.csdn.net/lxr1998/article/details/80326137

三、安装Hadoop环境

1、安装java环境

JDK8及以上

安装前首先卸载Open-JDK

查看当前JDK版本信息：
 rpm -qa | grep java

删除含有openJdk的选项（有的包被作为依赖直接删除）

yum -y remove java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

将/opt/software 中的文件解压缩到 ./module下，先安装好jdk，在安装hadoop

 tar -zxvf jdk-8u231-linux-x64.tar.gz -C /opt/module/

进入解压后的目录文件中

输入pwd 

获取java的文件路径/opt/module/jdk1.8.0_231

vim /etc/profile

在文件最后面添加JAVA_HOME信息：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

让修改的文件生效，source一下

source /etc/profile

查看jdk版本信息

java -version

显示出最新信息则表明安装成功

2、安装Hadoop

类似于JDK的安装过程

首先解压缩Hadoop的压缩包

tar -zxvf hadoop-2.8.5.tar.gz -C ../module/

进入相应的目录下，获取目录，添加环境变量

vim /etc/profile 

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source一下

source /etc/profile

查看hadoop是否安装成功

hadoop version

输出版本相应的信息，表示安装成功，若hadoop不能用，重启一下试试

3.官方Grep的案例

在hadoop目录下

mkdir input

cp etc/hadoop/*.xml input/


 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar grep input output 'dfs[a-z.]+'

cat output/*

4.运行WordCount案例

在hadoop目录下

新建目录 mkdir wcinput 

cd wcinput 

vim wc.input (创建文件，自己在里面输入相应的内容英文单词)

执行wordcount命令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount wcinput/ wcoutput

查看文件计算结果：

cat wcoutput/part-r-00000