IBM推动MapReduce发布Eclipse插件

 近日, IBM在其开发技术网站Alphaworks发布了一个Eclipse插件-IBM MapReduce Tools for Eclipse,通过该插件,开发者可以在Eclipse上创建MapReduce应用程序。

  它使用了Hadoop开源MapReduce框架,该框架可以使数据密集型应用程序运行在一般硬件的大型群集之上。

  Hadoop是 Google labs 的MapReduce的一个实现,Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式,让程序可以自动在普通机器组成的集群中以并行方式分布执行。通过今年的整合工作,已经可以轻松的在Amazon的EC2平台上运行Hadoop MapReduce应用程序,以及把Amazon的S3平台用以存储。Amazon的网络服务博客中表示,“因为在EC2实例之间的带宽和存储在S3中的数据是无法计算的,因此这是一个处理大容量数据的非常有经济效益的方法。”

  IBM的MapReduce插件支持以下功能:

    ·支持以JAR文件方式打包和部署一个Java项目到一个Hadoop服务器(本地和远程)
    ·辅助开发过程的一些技术小提示
    ·可以查看Hadoop服务器、Hadoop分布式文件系统(DFS)和当前任务状态的分离视图
    ·方便基于MapReduce框架的类开发的向导

  该插件可以运行在 WindowsLinux或任何可以运行Eclipse的操作系统上。

  它还包含了完善的小技术提示和全面的OS X兼容性。该插件自动创建一个包含Hadoop库的项目以供开发和测试。MapReduce驱动的模板也被提供。在一个项目被完成后,该插件使用SCP(安全拷贝)来部署代码到一个Hadoop服务器上,然后使用SSH在Hadoop服务器上远程执行该代码,在执行过程中,该插件使用HTTP协议与Hasoop任务跟踪器进行会话,并显示任务状态。  
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值