- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark学习小结
本地模式 -standalone 集群模式--yarn ---（client、cluster），区别在于Driver程序在哪里创建 -mesos（了解） 1.mr不擅长迭代式计算（多个mr连续使用，下一个mr基于上一个mr的"落盘"的结果），spark基于内存指的是迭代式计算的中间结果不落盘，shuffle过程还是会落盘 2.RDD->弹性分布式数据集 （是一个数据抽象，底层存储的是逻辑，而非数据，但通过执行代...
2021-07-27 09:18:49
486
原创 Flink学习笔记
《Google FileSystem》->HDFS 《Google BigTable》 -> HBase 《Google MapReduce》-> Hadoop UDF、窗口、状态三大模块 一般遵循先分流，再开窗，后聚合的思路 1.spark中的Driver除了调度还会负责一些工作，比如job切分，封装task->TaskScheduler等等 flink中的JobMaster只负责调度 2.使用webUI提交jar包一般是使用分发器执行的，Dispatcher在架构中可能并..
2021-07-23 16:16:17
370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人