zookeeper 梳理

flink:
	一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算
优势:
	1高性能,高吞吐,低延迟;(如何实现?)
	2支持event Time(如何实现?)
	3支持有状态计算(如何实现?)
	4支持灵活的window(Time/Count/Session/Data-driven),灵活的触发条件(如何实现?)
	5基于轻量级分布式快照CheckPoint,支持容错,将拆解成的小计算过程分布到节点上处理,checkpoint将执行状态中状态信息进行持久化存储,确保处理数据在过程中的一致性(与ack机制的区别)
	6基于JVM实现独立的内存管理,将所有数据对象转化城二进制在内存中存储,降低存储大小,对内存空间充分利用
	7savePoint将任务执行的快照存储,任务重启时可直接从save点恢复
什么是状态?
	计算过程中产生的中间结果,每次计算新结果是基于中间结果,不需进行全量计算,减少计算过程中间损耗和硬件存储
主要应用:
	实时智能推荐、复杂事件处理(工业领域)、实时欺诈检测、实时数仓、ETL类型、流数据分析类型、实时报班类型等业务场景
流处理案例:
	main
	val env=StreamExecutionEnvironment.getExecutionEnvironment
	import org.apache.flink.streaming.api.scala._
	val stream=env.sockTextStream("node1",8888)
	stream.flatmap(_.split(","))
	.map((_,1))
	.keyby(0)
	.sum(1)
	.print
	env.execute("wordcount")


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值