Spark学习笔记三:开发环境配置安装

在了解基本原理后,配置一个Spark开发环境,便于之后的学习。
这部分网上有很多教程,这里贴一个参考
MAC版:https://blog.csdn.net/u013384984/article/details/79680967

另外,除了单机环境的配置,在实际开发应用中会涉及到分布式部署的方式

  • Standalone
    自带完整服务,可单独部署到一个集群中,无需依赖任何其他资源管理系统。
    没有任何单点故障问题,借助zookeeper实现(思想类似于Hbase master单点故障解决方案?)(Spark standalone与MapReduce在架构上完全一致)
  • Spark on Mesos
    • 粗粒度模式
    • 细粒度模式
  • Spark on YARN
    目前仅支持粗粒度:YARN上的Container资源是不可以动态伸缩的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值