分布式
文章平均质量分 89
红岸水滴
https://github.com/fenglei110
从孤独中寻找自由。
展开
-
spark/flink + kafka 是如何做到 exactly once的?
端到端Exactly Once的含义就是:Source的每条数据会被处理有且仅有一次,并且输出到Sink中的结果不重不丢。Flink和Spark structure streaming能否做到端到端的exactly once?是可以的。由于原理类似,接下来拿spark举例分析一下。kafka有关详细内容请看:KIP-98 - Exactly Once Delivery and Transactional Messaging - Apache Kafka - Apache Software Fou原创 2022-04-09 11:45:12 · 1999 阅读 · 0 评论 -
单节点事务与分布式事务
单节点事务在一个不确定的存储环境中,会有许多出错的情况。例如,网络故障、磁盘故障、应用程序的某种bug,这些未解决的问题都会影响到系统的高可靠性。处理好上述问题就需要完善的容错机制,而事务就是一直以来简化这些问题的首选。事务提供的安全保障即ACID,分别代表原子性、一致性、隔离性与持久性。其中,A、I、D属于数据库系统固有属性,一致性更多是应用层属性,应用层借助数据库提供的原子性和隔离性来实现一致性,一致性本身并不源于数据库。1. 原子性原子性能够保证,当事务进行中发生了错误,就必须中止事务原创 2021-11-02 22:27:01 · 378 阅读 · 1 评论