开源夏令营——Jstorm on YARN之期末总结

经过一个暑假的实习,项目已经完成,在此期间,对storm, jstorm, storm-yarn都有了进一步的了解,在此对jstorm on yarn项目作一个整体的总结。

1. jstorm-yarn项目是依照storm-yarn项目进行修改,主体架构保持不变,只在jstorm与storm不同的地方进行修改,使之能够运行。

2. jstorm-yarn架构:


用户启动jstorm-yarn后,会首先向yarn申请一个container运行MasterServer,MasterServer会启动jstorm Nimbus Server。同时MasterServer也继承了ThriftServer,用于接收客户端命令。当yarn集群资源充足时,MasterServer也会申请启动默认数量的jstorm Supervisor Server。supervisor数量可通过命令addSupervisor进行增加。

3. jstorm-yarn命令: []内为可选参数

  • jstorm-yarn help
  • jstorm-yarn launch <master.yaml> 

  -appname <arg>            Application Name. Default value - JStorm-on-Yarn
  -jstormConfOutput <arg>   storm.yaml file
  -jstormHome <arg>         JStorm Home Directory
  -jstormZip <arg>          file path of jstorm.zip
  -output <arg>             Output file
  -queue <arg>              RM Queue in which this application is to be submitted

  • jstorm-yarn addSupervisors -appId <arg>  [-output <arg>] -supervisors <arg>
  • jstorm-yarn stopSupervisors  -appId <arg>  [-output <arg>] 
  • jstorm-yarn startSupervisors  -appId <arg>  [-output <arg>] 
  • jstorm-yarn startNimbus -appId <arg>  [-output <arg>] 
  • jstorm-yarn stopNimbus -appId <arg>  [-output <arg>] 
  • jstorm-yarn getStormConfig -appId <arg>  [-output <arg>] 
  • jstorm-yarn setStormConfig -appId <arg>  [-output <arg>] 
  • jstorm-yarn version
  • jstorm-yarn shutdown
4. jstorm-yarn 配置、使用说明

详见项目说明


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值