Hadoop知识回顾二——单节点安装(standalone)

1.环境准备

CentOS 7 请先安装配置好jdk

通过下面命令获取hadoop-3.2.1安装包，如果未安装wget命令，使用（yum -y install wget）安装。

wget -O hadoop-3.2.1.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

2.将Hadoop安装至/opt/bigdata/中

1) 将安装包mv到/opt/bigdata/安装目录

2) 安装应用建议不要使用root用户

使用root用户给hadoop用户赋权（用户自己创建）

 

3) 使用su 切换用户

4) 使用tar -zxf hadoop-3.2.1.tar.gz解压安装包

5) 进入hadoop目录

6) 进入bin目录，这里面是hadoop提供的执行脚本

7) 使用./hadoop version 查看当前hadoop版本

8) 使用vim /etc/profile //配置环境变量（请使用root用户）

export HADOOP_HOME=/opt/bigdata/hadoop-3.2.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile //使配置文件生效

 

3.修改hadoop配置文件

1) 修改hadoop-env.sh

进入如下路径 cd /opt/bigdata/hadoop-3.2.1/etc/hadoop

使用vim hadoop-env.sh打开文件

配置java安装目录

Standalone 模式

默认情况下，Hadoop被配置为作为单个Java进程以非分布式模式运行。这对于调试非常有用。

下面是hadoop自带的一个mapreduce事例:复制 conf目录作为输入，然后查找并显示给定正则表达式的每个匹配项。输出到给定的目录。

mkdir input

cp /opt/bigdata/hadoop-3.2.1/etc/hadoop/*.xml input

hadoop jar /opt/bigdata/hadoop-3.2.1/

hadoop jar /opt/bigdata/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

查看结果

 

待续。。。