Hadoop本地模式

Hadoop本地模式

1、关闭防火墙
命令：
关闭防火墙：systemctl stop firewalld.service
禁用防火墙：systemctl disable firewalld.service
查看防火墙：systemctl status firewalld.service
PS：学习环境中直接关闭防火墙，工作环境中开启需要使用的端口即可。
2、修改IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
配置完成之后的截图
配置好之后重启网卡服务命令:servie network restart
3、映射和修改主机名
IP和主机名映射： vi /etc/hosts

PS：三台设备 ，若想在Windows中使用域名访问。在windows的C:\Windows\System32\drivers\etc路径下找到hosts并添加

修改主机名命令：vi /etc/hostname 改为BD01

在 /opt/目录下查看是否有module文件夹，并建立soft文件夹

打开WinSCP建立链接，将环境包通过WinSCP复制到soft下

使用命令解压文件到module文件夹：tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置环境(JDK): vi /etc/profile
export JAVA_HOME=/opt/mod/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

复制hadoop包到soft，并配置环境
解压到文件到module文件夹：tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置环境(Hadoop): vi /etc/profile

保存环境配置文件后使用hadoop测试，出现下图则安装成功

复制上图代码到/opt/module/test文件内保存，
使用以下命令进行测试：

hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /opt/module/test /opt/module/out
wordcount是主类名 /opt/module/test数据输入路径 opt/module/out计算输出路径，out为输出是创建的路径

测试结果。安装测试结束