- 博客(4)
- 收藏
- 关注
RSS订阅原创 Linux系统及其各文件功能介绍
目录：一、Linux的产生二、Linux的特点三、Linux操作系统架构四、常见发行版五、Linux的文件系统六、Linux启动级别七、简单命令介绍八、常用快捷键一、Linux的产生：Linux操作系统诞生于1991年10月5日（这是第一次正式向外公布时间），与UNIX兼容，并在GPL条款下发布。二、Linux的特点：1、分时的多用户、多任务操作系统2、多数网络协议支持、...
2019-01-26 10:47:23
739
原创 Spark面试题整理(更新中)
**1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？**答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提...
2019-01-14 12:48:35
480
原创 Spark与MapReduce2.0的比较
Spark现在已逐渐代替了MapReduce在Hadoop中的作用，解决了MapReduce在Hadoop2.0版本中的诸多不足之处。减少磁盘IO1.1 MapReduce的map端输出的中间结果会存储在磁盘之中，reduce端再从 磁盘中读取中间结果，从而造成了大量的磁盘IO。然而Spark是基于内存的计算，运行map段的中间结果存储在内存中，从而避免了大量磁盘IO。此处涉及到RDD的持...
2019-01-11 14:45:44
176
原创 Spark的作业提交流程简介
这是自己读取源码并结合他人的总结，写的大概的流程，仅供参考第一部分：大体流程ClientActor 启动，会将用户提交的任务和相关的参数封装到 ApplicationDescription 对象中，然后提交给 master 进行任务的注册master 接受到 clientActor 提交的任务请求时，会将请求参数封装成 Application，然后将其持久化，然后将其加入到任务队列 wai...
2018-12-25 16:49:04
1130
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人