阿里云openMR的 使用

OPEN MR 基本概念

为了帮助用户更加安全、便捷的使用 MaxCompute 的 MR 功能，实现更复杂的计算逻辑 。本文档主要讲述 OPEN MR 的开发方法，帮忙用户更好的开发复杂的 MR 模型 。OPEN MR 用户只需要关注 Mapper/Reducer 部分的逻辑，作业提交部分逻辑会由平台统一来完成 。涉及到一些日常调度涉及到的变量可以在创建 OPEN MR 节点时，在配置中通过参数的方式来指定 。ODPS_MR任务类型已经开放，建议优先使用ODPS_MR。

注意：OPEN_MR不支持引用资源表，不支持多个Reduce等

场景和数据说明

本示例将以经典的 WordCount 示例来介绍如何在阿里云大数据平台使用 MaxCompute MapReduce 。 WordCount 示例的详细内容请参见：WordCount 示例 。

本文档中所涉及的数据表说明如下：

1) 输入数据表：wc_in 用于存储 word 列表；

2) 输出数据表：wc_out 用于存放通过 MR 程序处理后的结果集 。

数据表准备

创建数据表

参考快速开始-创建表 章节新建表 wc_in、wc_out.

 
 
 

  
    CREATE TABLE wc_in (key STRING, value STRING) partitioned by (pt string );
  
    CREATE TABLE wc_out (key STRING, cnt BIGINT) partitioned by (pt string );