![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 85
WaveVector
因为痛,所以叫青春
因为你还青春,所以可以拥有痛
展开
-
Docker尝鲜之Airflow快速安装
Docker尝鲜之Airflow快速安装 个人初步理解使用Docker应该尽量满足数据和应用隔离,数据尽量有mount在宿主机上;另外,与虚拟机相比,容器有一个很大的差异,它们被设计用来运行单进程,无法很好地模拟一个完整的环境,所以不建议一个容器塞太多的应用——容器的启动是非常廉价的。Docker设计者极力推崇“一个容器一个进程的方式”,所以遵循这样的应用原则就没错了。另外,docker exe原创 2016-12-01 07:06:37 · 18381 阅读 · 1 评论 -
分布式资源管理器YARN简介(一)
@(Hadoop) 为什么会出现YARN(Yet Another Resource Negotiator, a framework for job scheduling and cluster resource management),YARN的优秀点是什么,践行分布式框架设计和并行化开发时有什么启发。希望这能加深Hadoop理解和算法开发思路扩展,如TensorFlow的多核任务分配机制、分布原创 2017-12-17 17:04:21 · 3692 阅读 · 0 评论 -
Airflow CeleryExecutor安装和配置说明
Airflow这个神器似乎在国内用的并不算多,所以很多文档都不是很全。Celery也是个神器。本文主要记录Airflow如何将Executor切换成CeleryExecutor——只有切换成CeleryExecutor,才能实现sub节点的单节点重跑,否则整个sub节点都需要重跑。配置的坑比较多,也修改了源码,特此记录说明。1. 安装RabbitMQRabbitMQ是Celery官方推荐的生产级B原创 2017-02-21 07:36:27 · 10555 阅读 · 0 评论 -
YARN调度报错Stack trace: ExitCodeException exitCode=1解决方式
网上有很多解释,但是都不适合我,单纯看表面的堆栈信息,很容易迷惑,应该深入查看ApplicationMaster和NodeManager的日志。碰到过很多异常会有不合理的展示,导致使用者被表面迷糊,很难快速定位问题。问题的具体堆栈信息如下Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shel原创 2016-12-11 07:53:31 · 37263 阅读 · 4 评论 -
Master-Worker设计模式
@(分布式计算集群) Master-Worker设计模式在生活中非常地常见,比如:督工和工人,督工给每个工人分配任务,也监督每个工人的工作情况。一般还有以下场景:如果有个工人身体不好,就重新将他的任务分配给其他人;现实中一般督工就一个,督工自己也有可能身体不好,然后呢?就没有然后了——也有可能由一个工人暂时顶替,或者再从其他小组挪一个督工,或者由一直陪同的小秘顶上。额外补充的场景是为了能够应对不原创 2016-09-30 06:33:16 · 8457 阅读 · 2 评论 -
CDH5.8安装说明
CDH5.8安装说明@(Hadoop) 使用过Ambari,不知道是因为没有商业运作支撑还是社区活跃度有限,总体管理能力只能算凑合。很多Hadoop组件版本都不高,Spark也才1.3.X,Sqoop还是1.4.6.2.3,相对版本都比较低,而且管理并不算优秀。遂放弃,准备使用CDH做下测试。 CDH在版本跟踪上还是比较密切贴近Hadoop的各个模块版本,基本上在修复版本上差个一两个版原创 2016-09-03 15:54:03 · 13318 阅读 · 5 评论