storm
文章平均质量分 78
阿睿93
这个作者很懒,什么都没留下…
展开
-
storm(二) docker集群搭建
利用docker搭建storm集群启动nimbus节点:docker run -d --restart always --name nimbus --link zookeeper:zookeeper storm storm nimbus --link zookeeper:zookeeper 使用zookeeper容器,将其别名为zookeeper启动一个supervisor节点:dock...原创 2018-08-15 22:28:35 · 1563 阅读 · 0 评论 -
storm(四) 并行度
概念并行度调整设置worker设置executor设置task设置acker原创 2018-08-15 23:39:59 · 631 阅读 · 0 评论 -
storm(六) 可靠性
集群可靠性 参考:http://storm.apache.org/releases/1.2.2/Daemon-Fault-Tolerance.htmlWorker可靠性worker挂掉了,supervisor会重新启动。如果在启动的过程中不断的失败,nimbus没有收到心跳,nimbus会将worker调度到其他supervisor上启动部署supervisor的机...原创 2018-08-18 17:51:24 · 575 阅读 · 0 评论 -
storm(五) 消息分组策略
grouping http://storm.apache.org/releases/1.2.2/Concepts.html消息分发策略决定了消息在spout和bolt间,bolt和bolt间如何进行传递。流分组策略有内置的八种,同时还可以进行自定义。这里将介绍最常用的几种Shuffle grouping随机分发到两个bolt上,确保两个bolt上tuple的数量大...原创 2018-08-16 21:42:58 · 399 阅读 · 0 评论 -
storm(一) 集群架构
storm关键概念storm不用来处理静态数据,主要用来处理动态数据storm 架构Nimbus:管理节点,用于提交Supervisor:从节点,接受来自于Nimbus节点的任务,管理Worker Worker:工作进程,具体执行业务的工作进程 Executor:工作线程,一个实际的物理线程 Spout / Bolt:计算模型节点,也叫task,多个task可能公用一...原创 2018-08-28 23:27:45 · 424 阅读 · 0 评论 -
storm(三) 编程关键类
Storm概念storm的编程其实就是设计topology的过程,该过程中最主要的就是Spout、bolt还有grouping关键类创建topology这个部分可以直接参考官网,使用TopologyBuilder类TopologyBuilder builder = new TopologyBuilder();builder.setSpout("create...原创 2018-08-28 23:50:28 · 178 阅读 · 0 评论 -
kafka(三):和storm整合保序
保证storm和kafka上的消息有序整体流程:kafka生产者->kafka消费者->spout->bolt:kafka的生产者按制定字段发送到指定主题上,保证一类消息的先后次序(如果想要所有的消息都有序,可以只用一个分区,但是这样就只能有一个消费者消费)producer = kafkaClientService.< String, String &a原创 2018-09-06 16:40:09 · 194 阅读 · 0 评论