- 博客(8)
- 收藏
- 关注
RSS订阅
1原创 Spark参数spark.hadoopRDD.ignoreEmptySplits对于HBase 2.3的影响
Spark参数spark.hadoopRDD.ignoreEmptySplits对于HBase 2.3的影响
2022-06-09 23:15:25
479
原创 Azkaban execute-as-user配置及关闭user-to-proxy
为了保证系统的安全性，Azkaban向用户提供了一种采用executor机器上的Linux用户执行job的方式，即execute-as-user。本文将说明Azkaban如何配置execute-as-user，并且修改Azkaban源代码，默认禁用user-to-proxy，强制Azkaban用户以当前身份提交作业。1. 创建Linux用户和用户组在Azkaban所有机器上创建用户，并将这些用户都加入到一个用户组中，选择其中一个用户启动Azkaban服务。为了举例方便，此处创建了四个用户，并将这些用户加
2022-05-29 11:33:16
578
原创 Azkaban多Executor模式flow提交到同一个Executor问题
文章目录背景代码解析参数设置背景Azkaban在多Executor模式下，Webserver会根据当前Executor的状态，选择一个合适的Executor执行job。但是，当同一时间点，比如整点的时候，同时有多个schedule flow被调度的时候，会出现连续多个flow被调度到同一个Executor执行，其它的Executor却没有flow执行的情况。代码解析Azkaban webserver在启动的时候，会初始化一个名为executorInfoRefresherService的Service
2022-05-25 21:21:46
233
原创 Spark3.0 DATE 和 TIMESTAMP 的改进
转一篇本人翻译的Spark3.0 对于DATE 和 TIMESTAMP 的改进：Spark3.0 DATE 和 TIMESTAMP 的改进水平有限，如有不对请多多指正！
2020-08-13 22:55:30
271
原创 Azkaban源码分析（1）——Executor选择
本文基于Azkaban3.79.0代码版本Mutli Executor模式进行分析。当azkaban.poll.model设为false（默认）的情况下，Executor的管理和flow的调度是通过ExecutorManager类进行管理的，当azkaban.poll.model设为true的情况下，就用ExecutionController类进行代替。在当前生产模式下，较为成熟的还是调用ExecutorManager类进行管理，本文接下来分析的也是ExecutorManager类中Executor的选择
2020-07-11 22:09:14
594
原创 MapReduce Shuffle流程
Map端Shuffle过程每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。执行步骤（4个）：在map task执行时，它的输入数据来源于HDFS的block，当然在MapReduce概念中，map task只读取split。Split与block的对应关系可能是多对一.
2020-06-26 15:30:29
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人