阿里云上运行MapReduce例子

接着上次博客记录, 例子虽然可以在本地运行,如果将写好的代码在阿里云上运行。
基本步骤如下:
1.将写好的代码导出成jar文件,代码里面的字段名用小写,ODPS都转为小写,用大写会报错找不到相应的字段,在后面执行才知道这个问题。
EtlTools.java-->Export--->Jar file-->name-mr.jar
2.从Eclipse workspace拷贝到D:\odpscmd_public\bin,路径不能有中文,否则后面会报错找不到相应的jar包
3.数据准备,建表
CREATE TABLE etl_in (idCard STRING, name STRING, dept STRING);
CREATE TABLE etl_out (idCard STRING, name STRING);

将数据用txt文本保存,记得txt文件用UTF-8编码,否则数据在ODPS客户端查看是乱码

命令行:tunnel upload data.txt etl_in; 导入数据

4.上传jar包,运行MR
jar add name-mr.jar;
jar -resources name-mr.jar -classpath name-mr.jar com.aliyun.odps.examples.mr.EtlTools ;

5.验证结果 select * from etl-out;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值