awk编写hadoop streaming 总结

原创 2011年01月20日 12:36:00
hrmr $hdp/test/query 
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.19.1-streaming.jar /
-D mapred.reduce.tasks=0 /
-mapper "awk -F'/t' '{print /$1}'" /
-input $path /
-output $hdp/test/query 
1.awk调用的时候$符号需要转义成/$
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

awk and hadoop之mapper

1.  在awk 中mapper的时候我们经常会合并不同的文件,取我们想要的不同的字段。   awk -F "\t" ' { filename = ENVIRON["mapreduce_m...

对HDFS上多个文件并行执行grep操作

HDFS上存了大量归档压缩的日志文件,偶尔需要到上面查询一些信息。hadoop fs虽然可以执行ls,cat等操作,但是却不能直接执行grep操作。写个map reduce程序再执行,虽然可行,却感觉...

mapreduce程序-awk脚本

mapper.awk #!/bin/awk -f BEGIN{ RS = "\n"; FS = " "; OFS = " "; } { split($2, array_pn...

Hadoop Streaming shell 脚本命令汇总

在编写JOB相关的脚本中,都会涉及集群输入和输出地址的定义,一般都是按照年月日并且按照文件大小进行切割,如果输入的路径下都是需要的文件,这个时候只需要定义路径的变量即可,可以利用正则匹配的方式来定义变...
  • xyl520
  • xyl520
  • 2013-10-18 23:03
  • 1653

Python+hadoop Streaming编写的Map-Reduce程序与调试运行

Hadoop的 Streaming介绍       Hadoop本身是用Java开发的,程序也需要用Java编写,但是通过Hadoop Streaming,可以使 用任意语言(python、ruby...

Hadoop-Streaming实战经验及问题解决方法总结

Hadoop-Streaming实战经验及问题解决方法总结

Hadoop streaming总结

Hadoop streaming总结 1.简介:Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业,这些特殊的map/reduce作业是...

在Hadoop中使用Streaming编写MapReduce

使用PHP编写Map / Reduce代码: wc_mapper.php #!/usr/bin/php <?php   error_reporting(0);   $in = fopen("p...

用Bash Script编写Hadoop MapReduce Streaming

MapReduce对外提供一个多语言编写MR的功能,就是Hadoop Streaming。我们可以通过自己喜欢的语言来编写Mapper和Reducer函数,运行MapReduce job。本文给出利用...

Hadoop-Streaming实战经验及问题解决方法总结

看到一篇不错的Hadoop-Streaming实战经验的文章,里面有大部分的情景都是自己实战中曾经遇到过的。特意转载过来,感谢有心人的总结。目录 Join操作分清join的类型很重要… 启动程序中ke...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)