![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Zookeeper
Mr_蜗牛
专业打杂
展开
-
Zookeeper简介
paxos算法 zookeeper没有单节点部署,最少是3个节点,也就是奇数个节点,能不能部署4个、6个等个节点,其实也可能只是不利于paxos算法选举。cas zab原创 2017-03-04 20:41:12 · 420 阅读 · 0 评论 -
Zookeeper + ActiveMQ 集群整合
一、使用ZooKeeper实现的Master-Slave实现方式,是对ActiveMQ进行高可用的一种有效的解决方案,高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQ Broker。只有其中的一个Broker可以对外提供服务(也就是Master节点),其他的Broker处于待机状态,被视为Slave。如果Master因故障而不能提供服务,则利用ZooKeeper的内部选举机制原创 2017-01-29 22:33:31 · 6928 阅读 · 2 评论 -
Storm分组
1、定义:Stream Grouping:为每一个bolt指定应该接收哪个流作为输入,流分组定义了如何在bolt的任务直接进行分发。1.1 Shuffle Grouping随机分组:保证每个bolt接受到的tuple数目相同1.2 Fields Grouping按字段分组,比如按照userid来分组,具有同样的userid的tuple会被分到同样的Bolts,而不同的userid则会被分配到不同的...原创 2017-12-10 14:53:55 · 386 阅读 · 0 评论 -
Storm的分布式的远程方法调用(DRPC)
一、DRPC就是分布式的远程方法调用。在Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型的计算任务,DRPC的storm topology以函数的参数流作为数据,而把这些函数调用的返回值作为topology的输出流DRPC其实不能算是storm本身的特性,他是通过组合storm的stream、spout、bolt、topology而成的一种模式,本来应该把D原创 2017-12-10 17:52:33 · 499 阅读 · 0 评论 -
Storm集群搭建
1、关闭防火墙,修改etc/hosts配置(3台机的IP可以互相通信)2、下载并安装JDK3、搭建Zookeeper集群(保证3台机器的Zookeeper都可用)4、安装python(2.6.6版本以上)5、下载并且解压Storm发布版本6、修改storm.yaml配置文件7、先启动ZK集群后再启动storm各个后台进程。在上述的步骤中。第1步骤第2步骤可以自行原创 2017-11-24 01:10:55 · 346 阅读 · 0 评论 -
Storm简介
一、Storm简介Storm是Twitter开源的一个分布式的实时计算系统,用于数据的实时分析,持续计算等官网地址:http://www.storm-project.net/源码地址:https://github.com/nathanmarz/storm应用场景:1、实时推荐系统,比如我们在某电商网站去买东西,我们会在网页旁边看到我们自己所需要的商品相关的系列产品。而had原创 2017-11-23 17:07:36 · 285 阅读 · 0 评论 -
Storm集成kafka
一、简介二、安装三、一个简单生产者与消费者DEMO四、Storm集成Kafka一、简介Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处...原创 2018-05-07 11:19:39 · 1630 阅读 · 0 评论