⭐⭐欢迎关注博客主页:https://blog.csdn.net/u013411339
⭐⭐欢迎点赞 👍 收藏 ⭐留言 📝 ,欢迎留言交流!
⭐⭐本文由【王知无】原创,首发于 CSDN博客!
⭐⭐本文首发CSDN论坛,未经过官方和本人允许,严禁转载!
1、spark的有几种部署模式,每种模式特点?
1)本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类 local:只启动一个executor local[k]:启动k个executor local[ * ]:启动跟cpu数目相同的 executor
2)standalone模式 分布式部署集群,自带完整的服务,资源管理和任务监控是Spark自己监控,这个模式也是其他模式的基础。
3)Spark on yarn模式 分布式部署集群,资源和任务监控交给yarn管理,但是目前仅支持粗粒度资源分配方式,包含cluster和client运行模式,cluster适合生产,driver运行在集群子节点,具有容错功能,client适合调试,dirver运行在客户端。
4)Spark On Mes