VMware搭建hadoop集群本地模式及测试详细步骤

hadoop集群搭建
@[TOC]1.准备
1）安装好linux系统（模拟真实工作用的线上服务器）
2）关闭防火墙service iptables stopchkconfig iptables off4）设置静态ip1. 查看虚拟网络配置（子网ip和网关ip）
2.修改win上的vmnet8网络ipv4属性参数，改为手动设置IP地址IP地址、子网掩码、默认网关、DNS1、DNS23. vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"HWADDR="00:0C:29:32:17:20"IPV6INIT="yes"NM_CONTROLLED="yes"TYPE="Ethernet"UUID=“796f9b1d-1ed6-43e4-8b11-ebc8697def55”
#系统启动的时候网络接口是否有效（yes/no）ONBOOT=yes
BOOTPROTO=static
#IP地址
IPADDR=192.168.198.100
#网关
GATEWAY=192.168.198.2
#域名解析器
DNS1=114.114.114.114
DNS2=8.8.8.8
4.修改主机名
vim /etc/sysconfig/networkHOSTNAME=hadoop100
5.修改主机和ip的映射关系
vim /etc/hosts
192.168.198.100 hadoop100
192.168.198.101 hadoop101
6.创建一个用户，并且给用户添加sudo权限
vim /etc/sudoers ALL=(ALL) NOPASSWD:ALL
7.创建两个文件夹（module、software）
mkdir /opt/module /opt/software
8.重置network、关机重启
service network restart
9.克隆虚拟机后需要修改ip地址和主机名
1）修改静态ip
（1）sudo vim /etc/udev/rules.d/70-persistent-net.rules 删除第一个SUBSYSTEM，修改第二个SUBSYSTEM，只修改NAME=“eth0”，复制ipadress ：00:0c:29:40:35:6a
（2）sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0#IP地址更改ip/ IPADDR=192.168.198.101粘贴修改/ HWADDR=“00:0c:29:40:35:6a”
2）修改主机名
10.将jdk和编译好的hadoop拖入/opt/software目录
11.解压到module目录
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
12 配置hadoop和jdk的环境变量
sudo vim /etc/profile添加：
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME:bin
export PATH=$PATH:$HADOOP_HOME:sbin
保存退出后执行：source /etc/profile
检查是否安装成功java -version
java version “1.8.0_144”
hadoop version
Hadoop 2.7.2
二、
单机版的hadoop只是用来测试，参考官方文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operationstep
1:vim etc/hadoop/hadoop-env.sh
添加：export JAVA_HOME=/opt/module/jdk1.8.0_144/
添加完毕保存退出测试hadoop官方案例：$ mkdir input$ cp etc/hadoop/.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’$ cat output/
2.通过hdfs dfs -ls /input 查看是否执行成功