hadoop搭建

1、设置VMware网络模式

 

1）设置虚拟机网络问NAT模式

2）禁止DHCP并设置为静态网络，设置子网IP

3）配置DNS设置

2、打开虚拟机，设置网络连接，配置静态IP

 

注：我使用的是Ubuntu 16.04

完成后保存打开一个终端偏ping外网测试网络是否打通

3、查看防火墙

查看防火墙状态serviceiptables status

我的是关闭的，可以用下面命令进行关闭防火墙

service iptablesstop临时关闭防火墙

chkconfig iptables off+重启  永久关闭防火墙

4、安装Java jdk

1）下载jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载安装并配置环境变量

sudo vi /etc/profile 在末尾添加下面两行

exportJAVA_HOME="/opt/modules/jdk1.8.0_171"

exportPATH=$JAVA_HOME/bin:$PATH

完成安装、检查

5、下载安装hadoop

https://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/

hadoop解压后默认是本地模式

运行MapReduce测试验证

新建wc.input文件

hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

运行

 ../hadoop-2.2.0/bin/hadoop jar ../hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /home/wyp/Learn/hadoop/data/wc.input output2

注：此文是模仿网上的帖子实现的，生成的输出文件含义还需进一步学习，多谢原作者！