![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
xinda77
这个作者很懒,什么都没留下…
展开
-
有searchguard的es-hadoop插件安装
有searchguard的es-hadoop插件安装 1:下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-7.0.1.zip 2:解压安装包 把对应的elasticsearch-hadoop-7.1.1.jar放到对...原创 2020-03-11 14:43:30 · 255 阅读 · 0 评论 -
spark 任务调度详细概述
关于任务调度的文章,网上很多,我是本着想系统深刻理解的目的,写下这边文章 任务调度: 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法,跟进源码发现底层调用的是DAGScheduler的runJob()方法。 DAGScheduler会将我们的job按照宽窄依赖划分为ResultStage和ShuffleMapStage,...原创 2018-10-06 21:54:57 · 330 阅读 · 0 评论