二十四、Hadoop Standalone Operation（Hadoop单机模式）

        Hadoop Standalone Operation（Hadoop单机模式）

1、单机模式之grep案例

官方案例地址：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

[admin@hadoop11 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
[admin@hadoop11 hadoop-2.7.2]$ mkdir input
[admin@hadoop11 hadoop-2.7.2]$ cp etc/hadoop/*.xml input
[admin@hadoop11 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
[admin@hadoop11 hadoop-2.7.2]$ cat output/*
1	dfsadmin
[admin@hadoop11 ouput]$ ll
总用量 4
-rw-r--r--. 1 admin admin 11 10月 11 22:40 part-r-00000           #结果文件
-rw-r--r--. 1 admin admin  0 10月 11 22:40 _SUCCESS               #成功执行的标识文件

2、命令解析

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

bin/hadoop                                                     这是一个hadoop命令
jar                                                            这个命令在jar包内
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar     jar包的具体位置
grep                                                           调用的函数名
input                                                          计算统计的文件来源自input文件夹
output                                                         计算结果输出到output文件夹
'dfs[a-z.]+'                                                   匹配的正则表达式

3、单机模式之workcount案例

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
2）在wcinput文件下创建一个wc.input文件
3）编辑wc.input文件
4）回到hadoop目录/opt/module/hadoop-2.7.2
5）执行程序
6）查看结果

[admin@hadoop11 hadoop-2.7.2]$ mkdir wcinput
[admin@hadoop11 hadoop-2.7.2]$ cd wcinput/
[admin@hadoop11 wcinput]$ vim wc.input              #输入一篇文章
[admin@hadoop11 wcinput]$ cd ..
#调用workcount函数计算wcinput 文件夹中所有文件各个单词的个数，结果写入wcoutput文件夹
[admin@hadoop11 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput