- 博客(3)
- 收藏
- 关注
RSS订阅
转载 Spark Application执行流程
对书籍以及博客中的Spark知识简单的梳理、记录。（一） 什么是Spark Application？application（应用）其实就是spark-submit提交的spark应用程序。一个完整的Spark应用程序包含如下几个基本步骤：获取输入数据（通过序列获取，读取HDFS，读取数据库，读去S3等！）处理数据（具体的代码逻辑）输出结果（导入到HDFS，Hbase，MySQL等存储）...
2019-04-08 22:29:29
2954
2
转载 zookeeper的选举机制
对分布式协调服务系统zookeeper的学习做一个简单的总结,本文主要简介zookeeper的选举机制。（一） zookeeper的介绍zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。但由于分布式协调服务系统的处理困难，其他分布式服务框架没必要重新开放一款框架来处理。因此在很多分布式服务的框架产品中我们都能看的zookeepe...
2019-04-10 15:45:23
409
转载 Spark RDD DF DS 的区别与联系
Spark RDD DF DS 的区别与联系三者的联系1）都是spark中得弹性分布式数据集，轻量级2）都是惰性机制，延迟计算3）根据内存情况，自动缓存，加快计算速度4）都有partition分区概念5）众多相同得算子：map flatmap 等等三者的区别RDD- 优点: 编译时类型安全 编译时就能检查出类型错误 面向对象的编程风格 直接通过类名点的方式来操作数据- 缺点...
2019-04-08 11:48:54
3971
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人