u013289115的博客

.airflow架构 scheduler，它处理触发计划的工作流，并将任务提交给executor运行。 executor，处理正在运行的任务。在默认的 Airflow 安装中，它运行在scheduler中，但大多数适合生产的executor实际上将任务执行推送给workers。 webserver，它提供了一个方便的用户界面来检查、触发和调试 DAG 和任务的行为。 DAG Directory，由scheduler和executor（以及executor所有的wor.

一、背景二、修复方法三、详细步骤1.准备flink源码2.找到修复的commit3.编译打包4.替换jar包四、总结一、背景​ 国家信息安全漏洞库（CNNVD）收到关于Apache Flink安全漏洞（CNNVD-202101-271、CVE-2020-17519）（CNNVD-202101-273、CVE-2020-17518）情况的报送。成功利用漏洞的攻击者，可在未授权的情况下，构造恶意数据执行任意文件读取或文件写入攻击，最终获取服务器敏感性信息或权限。Apache Flink 1.5.1 - .

Hive源码本地IDEA调试的正确姿势背景Hive作为最最基础的大数据框架，可以说，没装Hive，就等于没有大数据这回事。Hive的功能也越来越强大，经过大多数用户市场的检验，也诞生许多稳定的版本。所以，大多数人把Hive当成黑盒使用，只需要明白其原理。但是，万一某种情况下，你的需求里出现未知bug或者有新的需求需要改造的时候，这时你不得不跟Hive源码打交道。本人在最近的Hive bug修复和开发中也走了不少弯路，网上也没像样的教程，现在总结出来给各位，避免踩坑。环境准备Hive这里选用hi

hadoop3.x中一把锁毁灭整个大数据集群集群版本：HDP3.1.5Hadoop版本：Hadoop3.1.1源码地址：https://github.com/hortonworks/hadoop-release/tree/HDP-3.1.5.152-1-tag一、前置知识​ 大家都知道hadoop的核心组件是HDFS和YARN，HDFS负责存储，YARN负责计算资源管理，今天要重点扯一扯YARN。YARN的架构跟众多分布式架构一样是主从式，为了维护可靠性，ResourceManage

rediswriter代码地址： https://github.com/lijufeng2016/DataX-redis-writer合并后DataX完整代码地址： https://github.com/lijufeng2016/DataX一、DataX介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRD

小白也能看懂的源码分析系列(1)—HADOOP的NameNode启动过程一、前言​ HADOOP作为大数据的基石，甚至是大数据的代名词，各种耳熟能详的框架基于HADOOP生态展开，发展日益迅速，HADOOP生态的完善，离不开HADOOP这个项目的伟大，作为一名大数据方向的工程师或者研究人员，这是必须要熟悉的框架，想要进一步深入的理解它的伟大之处，外面必须要熟悉它的原理，原理从何而...