- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 spark 在yarn执行job时一直抱0.0.0.0:8030错误
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below: 2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at...
2018-06-26 14:01:22
1624
转载 Azkaban的Web Server源码探究系列7: ExecutorManager的初始化
摘要：很好,到目前为止,一切都很顺利!下面分析ExecutorManager的初始化过程======================================================================publicclassJdbcExecutorLoaderextendsAbstractJdbcLoaderimplementsExecutorLoader{小的就不说了,...
2018-06-19 16:11:00
776
转载 Azkaban集群内部调度原理分析
Azkaban是一个非常简单实用，而且开源的作业调度系统。在2.x版本中不支持集群模式部署，在3.x版本中支持集群模式部署，适用于作业量比较大一些的应用场景。有关Azkaban更多详细信息，如特点、功能、特性、作业定义等，可以参考官方文档，这里不再详述。Azkaban集群架构下面我们看一下Azkaban集群模式的架构，如下图所示：从上图可见，Azkaban集群部署模式，主要有3个核心的组件：Azk...
2018-06-19 16:09:32
1783
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人