Hadoop 3.x|第二天|安装Hadoop

Hadoop102中安装Hadoop

解压hadoop包

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

添加环境变量

sudo vim /etc/profile.d/my_env.sh

添加

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

Hadoop目录

bin：里面将重点用到 hdfs（存储相关） mapred（计算相关） yarn（调度相关）的三个命令
etc：存储配置信息
sbin：很重要，里面有开启集群，yarn等的命令
share：存储的是学习资料。

本地模式运行wordcount

首先创建一例本地运行的实例 wordcount，统计每个单词出现的个数

再在里面写点word

/hadoop/mapreduce里面存着一些jar包，此时选取examples的jar包里的WordCount进行运行。

执行的命令主要为：

hadoop jar 
/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
/opt/module/hadoop-3.1.3/wcinput/
/opt/module/hadoop-3.1.3/wcoutput

需要注意的是，执行命令的时候，输出是不能存在的

进入输出文件，此时有两个文件

查看part文件

发现已经统计出来了