odps新手上路之安装Eclipse开发环境

  
 


只看楼主更多操作 楼主   发表于: 2014-11-07
—本帖被 亮伟 执行取消精华操作(2014-11-27)—
准备工作:
  1. 登录阿里官网,开通odps服务。创建一个odps的project。
  2. 安装odps的客户端,具体的方法见 传送门
  3. 下载Eclipse并解压缩。建议到官网上下载。作为一个java开发,大家应该是很熟练的。
  4. 下载odps的Eclipse插件(把rar文件解压成jar文件)并拷贝到Eclipse解压文件里的plugins文件夹里

准备工作就绪后,开工啦~
打开Eclipse,如果之前jar包拷贝好了,点击圈圈里的地方,会出现如图的框。有看到里面odps的图标,就表示jar包拷贝成功了


然后是配置odps的客户端 环境



其中odps的console directory是到odps-cli-java\odps过的,不需要 配置到bin里面去
点击ok后,我们可以创建我们的odps工程了


然后会发现已经有好多文件和jar包了,这里解释一下这些文件/文件夹的用处


src就是我们代码写在这个位置
可以看到引了一个jar库,上面那个是1.6的java jdk,下面那个是从odps客户端里引用过来的一些odps的jar包。我们不需要 修改这些
example里放了俩java文件,其中LocalDriver是一个模拟的odps服务器环境,所有的mr程序应该要用这里做为入口。至于怎么做入口跑后面会讲到。WordCount就是我们今天的测试脚本
mr_local_jobs:所有本地在跑的mr程序的日志啥的都放里面。等随便跑一个任务后到这个文件夹里一刷新,就能看到了
warehouse:Eclipse环境模拟的odps上的数据环境,下面的子文件夹mr_test是模拟的一个project的名字。__resources__里放的是odps里的resource,wc_in就是我们的测试表,里面的俩文件名__schema__放的是表的meta信息,比如列名和类型。另外一个放表数据。


准备工作完成,试试能不能用
打开LocalDriver.java

我在LocalDriver.java里改了id和key,比如Account account = new AliyunAccount(id, key);
然后点击下面图里的位置


双击下图的1,会出现2,点击2和3,点击run就好了
参数是
com.aliyun.odps.mapred.examples.WordCount aliyun2014 wc_in wc_out
其中的aliyun2014是我的project的名字


这时候,就可以到wc_out里的存放数据的文件里看到要的数据了。
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值