- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 为什么Flink会取代SparkStreaming？
当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apache spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。不过因为好奇，我花费了数个星期在尝试了解flink。一开始仔细看了flink的几个例子，感觉和spark非常类似，...
2019-06-22 12:18:51
6955
1
翻译 Kafka高吞吐、低延时、高性能的实现原理？
Kafka高吞吐、低延时、高性能的实现原理？Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟，让我们一起掌握Kafka各种精巧的设计。一、页缓存技术 + 磁盘顺序写首先Kafka每次接收到数...
2019-06-22 11:30:33
3371
1
转载 阿里巴巴为什么不用 ZooKeeper 做服务发现？
注册中心需求分析及关键设计考量注册中心是 CP 还是 AP 系统?CAP 和 BASE 理论相信读者都已经耳熟能详，其业已成了指导分布式系统及互联网应用构建的关键原则之一，在此不再赘述其理论，我们直接进入对注册中心的数据一致性和可用性需求的分析: 数据一致性需求分析:注册中心最本质的功能可以看成是一个 Query 函数 Si = F(service-name)，以servi...
2018-06-20 14:06:23
1793
原创 记一次线上Kafka消息堆积踩坑总结
年后上线的系统，与其他业务系统的通信方式采用了第三代消息系统中间件Kafka。由于是第一次使用，踩了很多坑，通过这篇博客和大家分享一下，也算是做个总结，以便以后温故而知新。一、线上问题 系统平稳运行两个多月，基本上没有问题，知道最近几天，突然出现Kafka手动提交失败，堆栈信息如下：通过堆栈信息可以看出，有两个重要参数： session.timeout 和 max.poll.reco...
2018-05-31 13:26:59
34257
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人