- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark运行架构
spark运行基本流程 Spark运行基本流程参见下面示意图： 构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； 资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上； Spark...
2018-10-09 20:25:39
176
原创 hdfs原理
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 (用空间换安全) ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大？多小？HDF...
2018-10-07 22:10:29
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人