修行的博客

大数据第16天-storm基础​ Storm是个实时的、分布式以及具备高容错的计算系统​ 实时性—进程常驻内存 数据少量经过磁盘，在内存中处理​ 分布式—集群操作​ 高容错—节点宕机，信息处理不完整（acker机制来解决这些问题）Storm计算模型Tuple – 元组，Stream中最小数据组成单元Spout – 数据源 (假) 发送数据/推送数据​ 本身不会产生...

大数据第17天-Storm架构及搭建架构​ Nimbus 分配任务、资源调度、上传jar包​ ZooKeeper 代理协调、健康检查（心跳）​ Supervisor 接收Nimbus任务、开启/关闭自己管理的worker进程（可以开启n个woker）​ Worker 运行具体处理运算组件的进程（每个Worker对应执行一个Topology的子集）​ 执行任务（可以执行n个ta...

Storm-容错机制、Drpc、kafkaStorm-容错机制架构​ Nimbus 分配任务、资源调度、上传jar包​ ZooKeeper 代理协调、健康检查（心跳）​ Supervisor 接收Nimbus任务、开启/关闭自己管理的worker进程（可以开启n个woker）​ Worker 运行具体处理运算组件的进程（每个Worker对应执行一个Topology的子集）​ ...

Storm事务ack​ 无法保证数据不被重复计算，但是可以保证数据至少被正确使用一次​ 将包装的数据流做16位的二进制streamID，每发生stream流交互时将前后的ID进行异或运算，最终异或结果为0，则数据传递成功没有故障；若传递故障则推送给上一个节点重新发送。tips: 与 全1为1，有0则0 要求严格​ 或 有1为1，全0为0 要求不严​ 异或 相异为1，相...