- 博客(3)
- 收藏
- 关注
原创 2020-08-11
kafka ack机制,默认有-1,0,1 -1只有当所有的副本发送确认消息时,producer不会发送数据。 1默认机制,producer在接收到leader的确认时,不会再发数据,但是如果发完数据以后,leader挂了,来不及同步到follower.此时数据容易丢失。 面试题:使用Kafka在什么情况下会丢消息 经过上面的铺垫,我们回过头来重新审视这道面试题,可以从三个方面(broker、生产者、消费者)入手来回答。 broker: 1.replication不准确,如1或者2 2.unclean.le
2020-08-11 12:08:15 79
原创 spark学习笔记
spark离线数据仓库 1需求一的逻辑图 获取全局的限制条件taskParam 获取全局唯一主键taskUUID 创建sparkConf和sparkSession 获取user_visit_action表里的原始数据(指定时间范围内的数据)actionRDD 将actionRDD的数据转化为k-v结构sessionid2ActionRDD 将sessionid2ActionRDD groupByKey操作sessionid2GroupRDD(进行聚合信息以后,每一条的key,对应着一
2020-06-01 21:53:46 118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人