- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark 之 BlockManager 原理分析
目录：1、BlockManagerMaster 2、BlockManager 3、MemoryStore 4、DiskStore 5、ConnectionManager 6、BlockManagerWoker 7、四个组件关系（总结）1、BlockManagerMaster1.1 存在位置：Driver 中的 DAGscheduler上；1.2 功能：BlockM...
2019-06-26 18:16:14
269
原创 Spark 之 Task 原理分析
目录1、接收请求，准备操作 2、处理阶段 ShuffleMapTask 3、处理阶段 ResultTask1、接收请求，准备操作Executor 接收到了LaunchTask的请求后，在TaskRunner中会做一些准备工作，例如：反序列化Task，因为Task发送过来时，是被序列化的。然后通过网络拉取需要的文件，jar包等。在准备工作之后，运行task的run（）方法，该方法最核心...
2019-06-26 14:28:40
581
原创 Spark Streaming 架构原理分析
目录：1、StreamingContext 2、ReceiveTracker 组件 3、DStreamGraph组件 4、JobGenerator 组件 5、JobScheduler 组件1、StreamingContext streamingContext 是 spark steaming 程序入口，类似 spark core 程序 创建 sparkContext。...
2019-06-23 22:35:20
486
原创 关于MySQL中删除操作 drop、truncate 和 delete 对比分析
目录1、三个关键字的删除强度 2、三个关键字的区别1、三个关键字的删除强度删除强度（强 -> 弱）：drop > truncate > delete2、三个关键字的区别drop table tb删除表结构和表中所有的数据 并无法找回truncate tb删除表中所有的数据 不能与where连用 不可以rollback，删除整表数据(ddl...
2019-06-17 19:45:15
274
原创 spark 性能调优之shuffle
目录1、shuffle block file 合并 2、提高缓存数值 3、延迟失败次数，提高失败重试次数 4、提高reduce 端内存占比1、shuffle block file 合并new SparkConf().set("spark.shuffle.consolidateFiles", "true")spark.shuffle.consolidateFiles：是否开启sh...
2019-06-13 11:32:45
188
原创 spark 内核架构分析
目录1、sparkcontext 2、TaskScheduler 组件 3、DAGScheduler组件1、sparkcontext spark-submit，这个shell 脚本会有自己编写的spark程序 Application，以及相关要求资源信息。由于基于Standalone模式，其会根据反射的方式，创建和构造一个Driver 进程。 Driver 进程...
2019-06-11 22:47:58
159
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人