storm面试题

• 提高并发度

  • 工作进程的数量 topology.workers : 1
  • 执行器的数量
  • 任务的数量

• 当Nimbus或Supervisor守护进程死亡时会发生什么？
  Nimbus或supervisor的死亡不会影响worker流程，遇到任何意外情况时进程自毁，所有状态保存在Zookeeper或磁盘上

• Nimbus是单点故障吗？
  如果丢失了Nimbus节点，worker仍将继续运行.如果worker死掉，nimbus将继续重新worker。但是，如果没有Nimbus，worker将不会在必要时重新分配给其他计算机

• Storm如何保证数据处理？

  • Storm提供了保证数据处理的机制
  • worker死了，nimbus可以启动worker.如果它在启动时连续失败并且无法接受Nimbus的心跳，Nimbus将重新安排worker
  • 节点死了，分配给该计算机的任务将超时，Nimbus会将这些任务重新分配给其他计算机

• storm的可靠性如何实现，包括spout和bolt两部分？

  • spout端 ：
    • ack机制与fail机制
    • 对于tuple树上的每个bolt进行确认应答，spout才会调用ack来表明这个消息被完全处理，如果任何一个bolt处理的tuple报错。调用ack.
  • bolt端：
    • ack机制与fail机制

• storm分组策略方式？

  • Shuffle Grouping: 随机分组，轮询，平均分配
  • Fields Grouping：按字段分组
  • All Grouping：广播发送
  • Global Grouping：全局分组
  • Non Grouping：不分组
  • Direct Grouping：直接分组
  • Local or shuffle grouping
  • 自定义分组