04 - Hadoop本地运行模式之Grep案例、WordCount案例

目录

1、官方Grep案例

1.1、创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

1.2、将Hadoop的xml配置文件复制到input目录下

1.3、执行share目录下的MapReduce程序

1.4、查看输出结果

2、WordCount案例

2.1、创建在hadoop-3.1.3文件下面创建一个wcinput2文件夹

2.2、在wcinput2文件下创建一个wc.input文件

2.3、编辑wc.input文件

2.4、执行程序

2.5、查看结果

---

1、官方Grep案例

1.1、创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

1.2、将Hadoop的xml配置文件复制到input目录下

[kgf@hadoop102 hadoop-3.1.3]$ cp etc/hadoop/*.xml wcinput/
[kgf@hadoop102 hadoop-3.1.3]$ ls wcinput/
capacity-scheduler.xml  hadoop-policy.xml  httpfs-site.xml  kms-site.xml     yarn-site.xml
core-site.xml           hdfs-site.xml      kms-acls.xml     mapred-site.xml
[kgf@hadoop102 hadoop-3.1.3]$

1.3、执行share目录下的MapReduce程序

[kgf@hadoop102 hadoop-3.1.3]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep wcinput/ outinput/ 'dfs[a-z.]+'

1.4、查看输出结果

[kgf@hadoop102 hadoop-3.1.3]$ cat outinput/part-r-00000
1       dfsadmin
[kgf@hadoop102 hadoop-3.1.3]$ ls
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  outinput  README.txt  sbin  share  wcinput
[kgf@hadoop102 hadoop-3.1.3]$ ll outinput/
总用量 4
-rw-r--r--. 1 kgf kgf 11 4月   5 20:55 part-r-00000
-rw-r--r--. 1 kgf kgf  0 4月   5 20:55 _SUCCESS
[kgf@hadoop102 hadoop-3.1.3]$

2、WordCount案例

2.1、创建在hadoop-3.1.3文件下面创建一个wcinput2文件夹

[kgf@hadoop102 hadoop-3.1.3]$ mkdir wcinput2
[kgf@hadoop102 hadoop-3.1.3]$ ll
总用量 176
drwxr-xr-x. 2 kgf kgf    183 9月  12 2019 bin
drwxr-xr-x. 3 kgf kgf     20 9月  12 2019 etc
drwxr-xr-x. 2 kgf kgf    106 9月  12 2019 include
drwxr-xr-x. 3 kgf kgf     20 9月  12 2019 lib
drwxr-xr-x. 4 kgf kgf    288 9月  12 2019 libexec
-rw-rw-r--. 1 kgf kgf 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 kgf kgf  21867 9月   4 2019 NOTICE.txt
drwxr-xr-x. 2 kgf kgf     88 4月   5 20:55 outinput
-rw-rw-r--. 1 kgf kgf   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 kgf kgf   4096 9月  12 2019 sbin
drwxr-xr-x. 4 kgf kgf     31 9月  12 2019 share
drwxrwxr-x. 2 kgf kgf    210 4月   5 20:53 wcinput
drwxrwxr-x. 2 kgf kgf      6 4月   5 20:58 wcinput2
[kgf@hadoop102 hadoop-3.1.3]$

2.2、在wcinput2文件下创建一个wc.input文件

[kgf@hadoop102 hadoop-3.1.3]$ cd wcinput2/
[kgf@hadoop102 wcinput2]$ touch wc.input
[kgf@hadoop102 wcinput2]$ ll wc.input
-rw-rw-r--. 1 kgf kgf 0 4月   5 21:00 wc.input
[kgf@hadoop102 wcinput2]$ pwd
/opt/module/hadoop-3.1.3/wcinput2
[kgf@hadoop102 wcinput2]$

2.3、编辑wc.input文件

在文件中输入如下内容

[kgf@hadoop102 wcinput2]$ vim wc.input
[kgf@hadoop102 wcinput2]$ cat wc.input
hadoop yarn

hadoop mapreduce

atguigu

atguigu
[kgf@hadoop102 wcinput2]$

2.4、执行程序

[kgf@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[kgf@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput2/ wcoutput2

2.5、查看结果

[kgf@hadoop102 hadoop-3.1.3]$ ll wcoutput2/
总用量 4
-rw-r--r--. 1 kgf kgf 38 4月   5 21:03 part-r-00000
-rw-r--r--. 1 kgf kgf  0 4月   5 21:03 _SUCCESS
[kgf@hadoop102 hadoop-3.1.3]$ cat wcoutput2/part-r-00000
atguigu 2
hadoop  2
mapreduce       1
yarn    1
[kgf@hadoop102 hadoop-3.1.3]$