Hadoop Streaming 实战: 文件分发与打包

转载 2012年03月26日 13:26:52

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。

Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。 
1. –file 将本地文件分发到计算结点 
2. –cacheFile 文件已经存放在HDFS中,希望计算时在每个计算节点上将文件当作本地文件处理 
3. –cacheArchive 将存放在HDFS中的压缩包分发并解压

-file实战: 使用-file分发本地可执行文件和其他文件

      a. 待计算的数据放入hdfs 
       $ hadoop fs -put localfile /user/hadoop/hadoopfile

      b. 编写map、reduce脚本,记得给脚本加可执行权限。 
       mapper.sh        

#!/bin/sh
wc -l

reducer.sh

#!/bin/sh
a=0
while read i
do
        let a+=$i
done
echo $a

 hello.txt文件内容:

hello

world


      c. 运行: 
        $ hadoop streaming –input /user/hadoop/hadoopfile  -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -file hello.txt  -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test"

      d.  查看结果: 
        $ hadoop fs –cat /user/hadoop/result/part-00000

 

-cacheFile实战

       a. 待计算的数据和文件放入hdfs 
         $ hadoop fs -put hello.txt /user/hadoop/

       b.运行命令(mapper.sh和reducer.sh脚本内容同上): 
          $ hadoop streaming –input /user/hadoop/hadoopfile  -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -cacheFile hdfs://host:port/user/hadoop/hello.txt#./hello.txt -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test"  
          可以通过配置文件hadoop-site.xml中的fs.default.name配置参数的值得到文件所在的host和port。

        c.  查看结果: 
        $ hadoop fs –cat /user/hadoop/result/part-00000


  -cacheArchive 实战

        a. 创建一个目录test,目录中包含文件mapper.txt,reducer,hello.txt 
        修改mapper.sh: 

#!/bin/sh
a=`wc -l`
#使用参数
b=`wc -l $1 | awk '{print $1}'`
let c=a+b
echo $c

 b.压缩文件夹并将压缩文件放入hdfs: 
           $ cd test 
           $ tar –zcvf test.tar.gz * 
           $ hadoop fs –put test.tar.gz /user/hadoop/test/

        c.运行命令: 
           $  hadoop streaming –input /user/hadoop/hadoopfile  -output /user/hadoop/result -mapper “./test/mapper.sh ./test/hello.txt” -reducer ./test/reducer.sh -cacheArchive hdfs://host:port/user/hadoop/test/test.tar.gz#test -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test" 

       d.  查看结果: 
        $ hadoop fs –cat /user/hadoop/result/part-00000

       首先将本地test目录中的所有文件和目录打包压缩,然后上传到HDFS中。启动streaming任务时使用-cacheArchive选项将test.tar.gz分发到计算节点并解压到test目录,然后在当前工作目录创建到test目录的链接,-mapper选项指定为mapper程序及其运行参数,-reducer选项指定reducer程序。本地打包时要进入目录test而不是在test的上层目录打包,否则要通过test/test/mapper.sh才能访问到mapper.shl文件。


转载 http://blog.csdn.net/yfkiss/article/details/6399874

【hadoop】如何向map和reduce脚本传递参数,加载文件和目录

【hadoop】如何向map和reduce脚本传递参数,加载文件和目录 http://www.cnblogs.com/zhengrunjian/p/4536572.htm...
  • zdy0_2004
  • zdy0_2004
  • 2015年06月02日 21:19
  • 2331

Hadoop Streaming 实战: 文件分发与打包

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。 Hadoop提供了自动分发文件和压缩包的机制,只需要在启动S...
  • jiedushi
  • jiedushi
  • 2012年03月26日 13:26
  • 1661

Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用

2015-04-26 13:57   默认是从hdfs读取文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读   本地文件读取...
  • zy_zhengyang
  • zy_zhengyang
  • 2015年07月12日 21:26
  • 50803

【hadoop】streaming 文件分发与打包

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Str...
  • sunxinhere
  • sunxinhere
  • 2012年07月14日 15:04
  • 1537

Hadoop Streaming 实战: 文件分发与打包

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。 Hadoop提供了自动分发文件和压缩包的机制,只需要在启动S...
  • adermxl
  • adermxl
  • 2011年10月10日 18:24
  • 388

Hadoop Streaming 实战: 传递环境变量

环境变量可以理解程序运行的系统环境,用户可以对自己的运行环境进行定制,其方法就是修改相应的系统环境变量。         用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访...
  • jiedushi
  • jiedushi
  • 2012年03月26日 13:39
  • 2475

hadoop:基于Streaming实现作业提交

Hadoop入门教程:基于Streaming实现作业提交,通过执行2.4.2中Streaming方式的编译命令后,会得到可执行程序WordcountMap和WordcountReduce,分别为词频统...
  • oraclestudyroad
  • oraclestudyroad
  • 2016年07月26日 10:26
  • 243

完全分布式Hadoop 调用DFS上so文件做缓存分发 跑mr

完全分布式Hadoop 调用DFS上so文件做缓存分发 跑mr
  • Dopamy_BusyMonkey
  • Dopamy_BusyMonkey
  • 2016年07月27日 11:43
  • 933

Hadoop之wordcount(Java 原生和Hadoop Streaming)

MapReduce示例:WordCount(Java原生)      WordCount是hadoop最经典的一个词频统计方法,它很好的体现了MapReducede分合的思想,在集群中该方法的触发指...
  • hanlaipeng11
  • hanlaipeng11
  • 2017年06月11日 20:32
  • 170

通过hadoop streaming 输入两个文件或目录

通过Hadoop streaming写Mapreduce程序时,会遇到同时处理多个输入文件或者目录的的需求,那么如何在map程序中知道这一条内容到底来自哪个文件? 其实hadoop已经给留了解决方法:...
  • levy_cui
  • levy_cui
  • 2017年08月11日 14:52
  • 581
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop Streaming 实战: 文件分发与打包
举报原因:
原因补充:

(最多只允许输入30个字)