Hadoop单机环境

1、下载3.1.1

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/

2、上传Linux服务器(目录:/usr/local/big_data/hadoop)

tar -zxvf hadoop-3.1.1.tar.gz

3、配置Hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/usr/local/big_data/hadoop/hadoop-3.1.1
PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile
4、Hadoop 以一个 Java 进程的形态运行在非分布式模式下，这对于调试很有帮助。

cd /usr/local/big_data/hadoop/hadoop-3.1.1

复制解压后的配置目录作为输入，查询所有匹配正则表达式的文本，结果被写到给定的输出目录中。

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'

cat output/*

单机环境使用场景:仅仅适用于单机运行分布式计算的作业