- 博客(19)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 KIE Project
kie-soupappformer:Uberfire;a web framework for a superior experience in building extensible workbenches and console type applications.droolsjbpm-build-bootstrap:The build bootstrap contains the pare...
2019-04-26 09:47:19
683
原创 OptaPlanner
浅尝一个排程引擎Optaplanner - 前序Optaplanner - 入门介绍OptaPlanner - 把example运行起来（运行并浅析Cloud balancing）Optaplanner - 从探究示例中的hello world，初步认识规划引擎的运行步骤。Optaplanner逐步学习(0) ： 基本概念 - Optaplanner,规划问题， 约束，方案.排产的两种方...
2019-04-24 19:59:41
2945
1
原创 Drools
kie maven plugin 用来验证和预编译artificat reousrce file；KieServices工厂中的战斗机，可以访问Kie构建和运行时的各种信息；KieRepository是一个单例，存储所有可用的KieModule;Kie Project就是一个Maven Project或者Maven Module，拥有groupId,artifactId,an...
2019-04-24 16:18:11
1641
原创 集群调度框架的架构演进过程
文章目录集群调度架构的演进过程中心化调度框架两级调度架构共享状态调度架构全分布式架构混合式调度架构实际含义下一步集群调度器是现在数据中心中非常重要的一个组件，并且这现年已经有了很大的发展。它的架构也从中心化设计转向更加灵活、去中心化和分布式设计。然而许多现在开源的调度架构依旧是中心化设计或者缺少很多主要的特性，这些特性对于实际的用户来说非常重要，因为这些好的特性可以使数据中心获得很高的资源利用率...
2019-04-18 10:05:42
443
原创 Airflow Oddment
Backfill and Catchupairflow metrics + statsd + graphite + grafanaLineage
2019-04-16 14:55:22
315
原创 Airflow Timezone
Airflow的设计理念是国际通用，不管在哪个时区，所以Airflow整体使用的是UTC时间，无论是数据库存储的时间还是WebServer UI上显示的时间都是UTC时间，而且是没法改的；数据库里存储的时间格式，我们根本不关心，UI界面上大部分显示的都是UTC时间，但是重要的地方，比如说Task Instance的运行开始时间，结束时间等重要的地方会同时显示，UTC时间和设置的Local的时间，...
2019-04-16 14:53:30
1704
原创 Airflow Logs
dag_process_manager：scheduler有个功能是监控airflow_dags目录下面的dag文件，然后同步到数据库的dag表中，这是添加dag记录的唯一方法，没有其他的入口可以添加一个新的dag；数据库里的dag记录都是Scheduler扫描airflow_dags目录自动生成的；此文件夹中的日志文件dag_process_manager.log记录的便是此过程的日志；dag...
2019-04-16 14:02:22
4319
原创 Airflow on Kubernetes
在本系列第一篇博客Airflow Architecture中，简述了，Airflow的设计架构，Airflow在部署的时候跟设计架构也是一一对应的，Scheduler进程，WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内，也可以分开，而通常Worker需要很多，如果是部署特定的数量的Worker，那就需要特定数量的机器才行；Air...
2019-04-16 12:22:43
4505
原创 Airflow On Docker
在Airflow的Github官方仓库里，提供了构建Docker镜像Dockerfile和相关的脚本信息，airflow/scripts/ci/kubernetes/docker/;下载airflow源码，进入到airflow/scripts/ci/kubernetes/docker/，可以查看到Dockerfile和相关的脚本信息；airflow-test-env-init.sh留下如下内容...
2019-04-16 12:02:01
1314
原创 Airflow Concept
DAG：定义调度信息，定义任务之间的关系和依赖Operator：定义任务，描述DAG中的一个任务节点，可以认为是执行任务的模板Task：Operator被传入特定的参数实例化之后，就被称为task，这就是为什么称Operator为任务模板的原因；Task instance：根据DAG中定义的调度信息和依赖关系，以及Operator中定义的任务的具体内容，可以生成一个Task Instance...
2019-04-16 11:28:37
305
原创 Airflow Architecture
ArchitectureAirflow是一个DGA流派的作业调度平台，既然是作业调度平台，那就分执行作业和调度作业的逻辑，Airflow Scheduler模块实现调度作业的逻辑，Airflow Executor模块实现执行作业的逻辑；此外Airflow还有一个Web Server模块，是一个Web UI，主要是提供各种信息的查看功能；懒得画图了，百度了下，从如何部署一个健壮的 apache-a...
2019-04-16 11:10:15
1044
原创 Docker Timezone in Ubuntu 16.04 Image
Docker Timezone in Ubuntu 16.04 ImageFROM ubuntu:16.04RUN apt-get update && \ apt-get install -y software-properties-common apt-utils locales tzdataENV TZ=Asia/Shanghai
2019-04-15 17:32:15
306
原创 Airflow
KubernetesExecutor for Airflow Scale Airflow natively on Kubernetes数据平台作业调度系统详解－理论篇数据平台作业调度系统详解－实践篇Sphinx
2019-04-13 11:31:11
1353
原创 What‘s Data Lineage?
Definition - What does Data Lineage mean?Data lineage is generally defined as a kind of data life cycle that includes the data’s origins and where it moves over time. This term can also describe what...
2019-04-12 18:25:37
1312
原创 Docker Proxy
cat ~/.docker/config.json{“auths”: {“https://index.docker.io/v1/”: {“auth”: “Y2hlbnpoZW55YW5nOmNoZW56aGVueWFuZw==”},“localhost:5080”: {“auth”: “YWRtaW46YWRtaW4xMjM=”},“registry-1.docker.io”: ...
2019-04-10 20:05:03
2885
Exactly Once Delivery and Transactional Messaging in Kafka
2019-02-27
快学Scala(Java核心技术的作者最新力作)
2014-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人