storm
cjrjc
我的小目标:北京有套房
展开
-
Kafka 的优化及在商业平台中的应用
问题导读:1.怎样保证保证Kafka端到端的消息可靠性?2.怎样防止由于越权导致数据方面的问题?3.怎样设计Kafka应用架构?端到端的消息可靠性机制的保证此处端到端的消息可靠性指生产者生产的消息,一定可以被消费者所消费。在 Kafka 典型的应用场景中,它包含三个层面的意思:1,在绝大部分场景下,生产者产生的消息能够发布到 Kafka Broker 集群上转载 2017-11-15 21:03:24 · 1113 阅读 · 0 评论 -
Zookeeper在storm中扮演的角色
from http://gaojingsong.iteye.com/blog/2313927一、Zookeeper在storm充当的作用Storm的所有的状态信息都是保存在Zookeeper里面,nimbus通过在zookeeper上面写状态信息来分配任务,supervisor,task通过从zookeeper中读状态来领取任务,同时supervisor, task也会定义发送心跳转载 2018-01-22 21:10:28 · 1456 阅读 · 0 评论 -
解决storm1.1.1集群找不到nimbus异常
各应用程序及版本storm1.1.1zookeeper3.4.10拓朴结构nimbus、ui:CentOS65Appsupervisor:CentOS65M1、CentOS65M2、CentOS65M3配置文件zoo.cfg,zookeeper仅安装在三台supervisor服务器server.6=CentOS65M1:2888:3888serve原创 2018-01-17 16:32:46 · 9964 阅读 · 0 评论 -
kafka常用命令行(转)
创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数partitions分区数:转载 2018-01-23 09:08:13 · 423 阅读 · 0 评论 -
搭建kafka2.12-1.0.0+storm1.1.1集群
各应用程序及版本CentOS65jdk1.8.0_121storm1.1.1zookeeper3.4.10kafka2.12-1.0.0redis4.0.5storm、zookeeper、kafka可从apache.org网站获取相应版本,建议版本与本文档一致;否则后续的示例程序可能会有乱码等不可知异常。服务器IP及拓朴结构storm安装配置storm安装在/app/apache-storm-1....原创 2018-01-31 15:13:54 · 1477 阅读 · 0 评论