cascading helloworld 案例

Cascading是一个数据处理的API和查询处理计划，用于定义，共享数据处理工作流，还能在单一计算节点或分布式计算集群上执行数据处理工作流。在单一计算节点，Cascading的本地模式(local mode)可以在部署到集群之前，用于测试代码和处理本地文件。在一个部署了Apache Hadoop的分布式计算集群上，Cascading在hadoop API上增加了一个抽象层，大大简化了Hadoop 应用程序的开发，job的创建和调度。

话不多说直接上代码：

package cascading.project;

import java.util.Properties;

import cascading.flow.FlowDef;
import cascading.flow.hadoop2.Hadoop2MR1FlowConnector;
import cascading.pipe.Pipe;
import cascading.property.AppProps;
import cascading.scheme.hadoop.TextDelimited;
import cascading.tap.Tap;
import cascading.tap.hadoop.Hfs;

/**
 * A Hello World example app that copies data from one location to another.
 * <p/>
 * It assumes the input files are TSV with headers on the first line.
 */
public class MainHadoop
  {
  public static void main( String[] args )
    {
    String inPath = args[ 0 ];//输入路径
    String outPath = args[ 1 ];//输出路径

    Properties properties = new Properties();//设置运行过程中需要的参数 比如reduce的个数等
    AppProps.setApplicationJarClass( properties, MainHadoop.class );//main函数
    Hadoop2MR1FlowConnector flowConnector = new Hadoop2MR1FlowConnector( properties );//调用mapreduce包装接口

    // create the source tap 使用tap包装输入路径
    Tap inTap = new Hfs( new TextDelimited( true, "\t" ), inPath );

    // create the sink tap使用tap包装输出路径
    Tap outTap = new Hfs( new TextDelimited( true, "\t" ), outPath );

    // specify a pipe to connect the taps 在输入tap和输出tap之间建立管道
    Pipe copyPipe = new Pipe( "copy" );

    // connect the taps, pipes, etc., into a flow 将三者连接起来
    FlowDef flowDef = FlowDef.flowDef()
      .addSource( copyPipe, inTap )
      .addTailSink( copyPipe, outTap );

    // run the flow 运行mapreduce流
    flowConnector.connect( flowDef ).complete();
    }
  }

代码的GitHub地址:https://github.com/Cascading/ProjectTemplate