Spark面试问题总结

本文详细汇总了Spark面试中的核心问题,涵盖OGG CDC、Flume、Maxwell的使用,Oozie与Azkaban的对比,Yarn调度器的区别,以及Spark Streaming窗口函数、广播变量、状态管理等关键概念。同时,文章还讨论了Scala与Java语言差异,以及Spark与Flink的比较。此外,还涉及了HadoopRDD和Spark Streaming的数据处理,以及在实际项目中如中燕项目和瑞安集团电商可视化平台遇到的问题和解决方案。

阿里面试:https://www.jianshu.com/p/11578fd6e272
https://www.jianshu.com/p/c8a271448dcd
大数据开发面试-MMMM:https://www.jianshu.com/p/fec32e92e06c

OGG CDC 读取oracle日志-M

https://blog.csdn.net/dkl12/article/details/80447154
https://www.csdn.net/gather_28/MtTaQg3sMDI5OS1ibG9n.html

Flume-M

Source类型: spooldir avro exec
Channel类型: memory file jdbc kafka
Sink类型:avro hdfs
Flume读取binlog与kafka结合
https://blog.csdn.net/qq_33792843/article/details/84537669

maxwell实时读取mysql数据到hdfs

https://blog.csdn.net/qq_33290422/article/details/80225432
https://blog.csdn.net/qq_30921461/article/de
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值