![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自学
GYDITLife
这个作者很懒,什么都没留下…
展开
-
Spark的作业提交流程简介
这是自己读取源码并结合他人的总结,写的大概的流程,仅供参考第一部分:大体流程ClientActor 启动,会将用户提交的任务和相关的参数封装到 ApplicationDescription 对象中,然后提交给 master 进行任务的注册master 接受到 clientActor 提交的任务请求时,会将请求参数封装成 Application,然后将其持久化,然后将其加入到任务队列 wai...原创 2018-12-25 16:49:04 · 1130 阅读 · 1 评论 -
Spark与MapReduce2.0的比较
Spark现在已逐渐代替了MapReduce在Hadoop中的作用,解决了MapReduce在Hadoop2.0版本中的诸多不足之处。减少磁盘IO1.1 MapReduce的map端输出的中间结果会存储在磁盘之中,reduce端再从 磁盘中读取中间结果,从而造成了大量的磁盘IO。然而Spark是基于内存的计算,运行map段的中间结果存储在内存中,从而避免了大量磁盘IO。此处涉及到RDD的持...原创 2019-01-11 14:45:44 · 176 阅读 · 0 评论 -
Spark面试题整理(更新中)
**1.Spark master使用zookeeper进行HA的,有哪些元数据保存在Zookeeper?**答:spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置,包括Worker,Driver和Application以及Executors。standby节点要从zk中,获得元数据信息,恢复集群运行状态,才能对外继续提...原创 2019-01-14 12:48:35 · 480 阅读 · 0 评论 -
Linux系统及其各文件功能介绍
目录:一、Linux的产生二、Linux的特点三、Linux操作系统架构四、常见发行版五、Linux的文件系统六、Linux启动级别七、简单命令介绍八、常用快捷键一、Linux的产生:Linux操作系统诞生于1991年10月5日(这是第一次正式向外公布时间),与UNIX兼容,并在GPL条款下发布。二、Linux的特点:1、分时的多用户、多任务操作系统2、多数网络协议支持、...原创 2019-01-26 10:47:23 · 739 阅读 · 0 评论