本地文件运行Hadoop 案例-02

hadoop运行环境搭建-01https://blog.csdn.net/kxj19980524/article/details/88934339

grep案例

grep案例就是执行一个mapreduce程序,从一堆文件里面找出符合那个正则的单词,输出到一个文件夹里

在hadoop目录下创建input文件夹

把hadoop下面的所有xml文件复制到自己创建的input目录下,这些文件做为测试文件使用

bin/hadoop意思就是执行bin下面有个hadoop命令,jar就是要执行一个jar包

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar这个是jar包的地址,这个jar包里有多个案例因为是examples,grep就是这个jar包里的其中一个案例,input 为输入的文件夹地址,output为输出的文件夹地址,这个文件夹不能存在,不然执行会报错,后面的正则表达式

整个的意思就是执行一个mapreduce程序,从一堆文件里面找出符合那个正则的单词,输出到output文件夹里

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

然后hadoop根目录下就会出现output文件夹,进去有success表示执行成功,具体的数据在part文件里,然后查看part文件,显示符合那个正则的单词只出现过一次

wordcount 案例

wordcount 案例是统计每个文件夹中单词出现的次数然后汇总到一个文件里展示

在hadoop目录下随便创建一个wcinput,然后进去创建多个文件,文件夹随便,后缀也随便,里面随便填写一些单词,空格隔开就认为是一个单词

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput

 执行完后就会在hadoop根目录下生成wcoutput文件夹,进去查看生成文件里面就是每个单词出现的次数,把原文件两个里面的汇总到一块了

下一篇:伪分布式运行Hadoop 例-03

https://blog.csdn.net/kxj19980524/article/details/88940888