Hadoop单机模式配置和官方案例

Hadoop单机模式

1.环境准备

0.安装jdk(自行安装)

1.配置hadoop环境变量

1. 下载hadoop的Linux的安装包，并解压
2. 复制hadoop的解压后的路径，并配置环境变量
3. 重新编译环境变量（只对当前用户有效）

配置环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/moudle/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新编译环境变量

source /etc/profile

2.修改hadoop-env.sh

修改25行的JDK的环境，为后续的分布式做准备，当前单机模式不修改也不会有影响

vim /opt/moudle/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

设置vim显示行号

:set number

 19 # The only required environment variable is JAVA_HOME.  All others are
 20 # optional.  When running a distributed configuration it is best to
 21 # set JAVA_HOME in this file, so that it is correctly defined on
 22 # remote nodes.
 23 
 24 # The java implementation to use.
 25 export JAVA_HOME=${JAVA_HOME}
 25 export JAVA_HOME=JDK的绝对路径

2.运行官方提供的简单案例

1.grep案例

匹配输入文件夹下。符合规则的内容

1. 准备输入文件夹

   1. 在/opt/moudle/hadoop-2.7.2文件夹下创建 input文件夹
   2. 复制/opt/moudle/hadoop-2.7.2/etc/hadoop 文件夹下的*.xml到 input文件夹下

   cp etc/hadoop/*.xml input/

2. 在hadoop的根目录执行命令

   
   #'dfs[a-z.]+d'为匹配规则
   
   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  grep input/ output 'dfs[a-z.]+d'

注意：output为输出文件夹，一定不能存在，运行命令后可以参看 output文件夹下的运行结果

2.wordcount案例

统计字符出现次数

1. 准备输入文夹

   在/opt/moudle/hadoop-2.7.2文件夹下创建wordcount文件夹，并在文件夹下创建wc.input文件，内容如下：

   wc wc wc 
   12 32 34
   count count

   ​

2. 在hadoop的根目录执行命令

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount wordcount/ wcoutput

运行结果

[daxiong@hadoop101 wcoutput]$ cat part-r-00000 
12  1
32  1
34  1
count   2
wc  3