Apapche Tez
文章平均质量分 72
chen476328361
这个作者很懒,什么都没留下…
展开
-
Tez示例(WordCount)
这份代码是修改了Tez的示例得到的(已运行通过)。运行前需要在F盘建立“Input”文件夹,并把待统计的文件放入其中,具体可参看代码。结果也是输出在F盘的Output文件中。Windows平台下会报“TaskExit: error (1639): Invalid command line argument. Consult the Windows Installer SDK for detaile原创 2015-08-31 13:48:58 · 2180 阅读 · 0 评论 -
Tez-自定义DAG图
说明: 代码中的DAG图由两个节点组成,一个节点用来处理业务,并把其并行度设置为4(即会同时运行4个Task);另一个节点处理输出,并行度为1,结果输出为1个文件。 本程序没有输入,只是在程序内部定义了一个节点用来产生100个“key value”字符串,又并行度为4,所以最终的输出文件中会有400个如上的字符串。 package sqllab.tez.shiyan; import原创 2015-08-31 14:01:17 · 1326 阅读 · 0 评论 -
log4j配置和使用
创建文件”log4j.properties“,并写入: # Configure logging for testing: optionally with log file log4j.rootLogger=info, stdout, logfile # debug>info>error log4j.appender.stdout=org.apache.log4j.ConsoleAppender原创 2015-08-31 14:21:14 · 456 阅读 · 0 评论 -
Tez控制输出的文件是否压缩并指定文件名
在如下的代码后: TezConfiguration tezConf; if (conf != null) { tezConf = new TezConfiguration(conf); } else { tezConf = new TezConfiguration(); } 加入: /** * decide outputfile whether to be原创 2015-08-31 14:08:12 · 1155 阅读 · 0 评论