junewangmumu123-CSDN博客

转载 Flink Streaming广播状态模式（The Broadcast State Pattern）

概要往往我们在做flink任务计算的时候，需要动态的匹配规则，但是我们又不能每次修改都去重新部署服务，所以我们这里需要借助于flink的动态广播状态机制，来实时的处理我们的规则变化Working with State描述了运算符状态，该状态在恢复时均匀分布于运算符的并行任务之间，或unioned，使用整个状态初始化恢复的并行任务。描述Flink支持的第三种操作符状态是广播状态（Broadc...

2020-02-13 12:09:37 441

原创 Java并发编程实战

一、线程安全性1.竞态条件：如果一个类中存在多个静态条件，从而结果变得不可靠。当某个计算的正确性取决于多个线程的交替执行时序时，就会发生竞态条件。最常见的静态条件类型就是“先检查后执行”操作，即通过一个可能失败的观测结果来决定下一步的动作。懒人单例模式：public class LazyInceRace{ private ExpensiveObject instan...

2020-02-13 11:58:50 83

在strom集群系统中，zookeeper和supervisor都是多节点，任意一个节点宕机或者supervisor节点宕机均不会对系统整体造成影响，但是nimbus和UI都是单节点，并且nibus承载了集群的许多工作，如果单节点宕机，会对系统的整体运行造成大的风险，因为如果在numbus挂掉的期间，supervisor所负载的任务将无法分配到其他的节点，所以解决这个问题的办法就是HA机制。H...

2020-02-13 11:58:20 172

原创 Storm(一)

一.配置开发环境第一步：首先建立一个maven项目第二步：编辑配置文件pom.xml,添加Storm依赖（Maven会下载storm类库和所有依赖）二.Storm的并发机制topology的四个主要成分：Nodes(服务器)：一个Storm集群中可以包括一个或者多个工作node，即supervisor. Workers(JVM虚拟机)：指一个node上相互独立运行的JVM进程...

2020-02-13 11:57:47 87

原创 Storm 中的ack机制

一.ack原理Storm中有个特殊的task名叫acker，他们负责跟踪spout发出的每一个Tuple的Tuple树（因为一个tuple通过spout发出了，经过每一个bolt处理后，会生成一个新的tuple发送出去）。当acker（框架自启动的task）发现一个Tuple树已经处理完成了，它会发送一个消息给产生这个Tuple的那个task。Acker的跟踪算法是Storm的主要突破之一...

2018-08-02 11:38:41 479

原创 Kafka

一.kafka架构话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名。生产者（Producer）：是能够发布消息到话题的任何对象。服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群。消费者（Consumer）：可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的...

2018-07-02 18:45:55 153

junewangmumu123的博客