Apache Twill—YARN上应用程序开发包

最新推荐文章于 2024-09-02 09:51:23 发布

笔尖的痕

最新推荐文章于 2024-09-02 09:51:23 发布

阅读量1.3k

点赞数

分类专栏： yarn hadoop 文章标签：转载

hadoop 同时被 2 个专栏收录

90 篇文章 0 订阅

订阅专栏

yarn

33 篇文章 0 订阅

订阅专栏

尽管YARN自带的编程API已经得到了极大的简化，但从头开发一个YARN应用程序仍是一件非常困难的事情。在YARN上编写一个应用程序，你需要开发Client和ApplicationMaster两个模块，并了解涉及到的几个协议的若干API和参数列表，其中ApplicationMaster还要负责资源申请，任务调度、容错等，总之，整个过程非常复杂。

Apache Twill(官方首页：Apache Twill)这个项目则是为简化YARN上应用程序开发而成立的项目，该项目把与YARN相关的重复性的工作封装成库，使得用户可以专注于自己的应用程序逻辑。

下面代码示例是使用Apache Twill开发一个运行在YARN上的helloworld程序：

 
        public 
         class 
         HelloWorld { 
       
        static 
         Logger LOG = LoggerFactory.getLogger(HelloWorld. 
        class 
        ); 
       
        static 
         class 
         HelloWorldRunnable  
        extends 
         AbstractTwillRunnable { 
       
        @Override 
       
        public 
         void 
         run() { 
       
        LOG.info( 
        "Hello World" 
        ); 
       
        } 
       
        } 
       
        public 
         static 
         void 
         main(String[] args)  
        throws 
         Exception { 
       
        YarnConfiguration conf =  
        new 
         YarnConfiguration(); 
       
        TwillRunnerService runner =  
        new 
         YarnTwillRunnerService(conf,  
        "localhost:2181" 
        ); 
       
        runner.startAndWait(); 
       
        TwillController controller = runner.prepare( 
        new 
         HelloWorldRunnable()) .start(); 
       
        Services.getCompletionFuture(controller).get(); 
       
        }