呼吸困难的鱼的博客

Airflow的安装与配置本文档记录的是基于Linux Centos系统安装的Airflow。机器：两台服务器（hadoop001,hadoop003）作用：hadoop001 : 安装mysqlhadoop003 : 安装airflowhadoop001事先安装mysql并完成相应的配置在hadoop003中：1 安装 Python31.1 下载安装包wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz【注】

前言前几天学习了一下Flink的状态编程，于是自己想了个需求实现一下来加深对状态编程的理解。需求是这样的：给出一个配置文件，用户在配置文件中定义库名，表名，以及 key列 和 value列等等，通过Flink从kafka中读取这样的数据，继而写入到Doris，在Doris中自动创建库创建表（该表根据配置文件构建，字段及字段类型与数据保持一致，是否分区表由配置文件决定）状态编程什么是有状态编程通俗的说就是当发生一个或者多个事件时，将这些事件信息保存起来的操作，这些操作就是有状态编程。什么情况下需要

一、创建一张表的艰辛路程在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。创建一张合格的表，主要考虑以下几个方面：字段索引引擎模型分区分桶属性1、Doris中的引擎olapmysqlbrokerHive2、Doris中的三大模型：AggregateUniqDuplicate3、Doris中分区类型RangeList4、建表示例4.1 字段Doris中的数据类型包括：bigintbigmapbooleanch

文章内容大数据环境之下，各种数据来源参差不齐，本次数据来源于 kochava，kochava 译为 快出海，是全球领先的移动广告归因分析与优化及全球最大的DMP，有兴趣的伙伴可以了解一下这款产品 https://www.kchuhai.com/company/view-60.html，本次的任务就是从该产品中获取数据来源并通过 flink 写入到 Kafka ,最后写入到 Doris中。下面是简单的 数据采集demo内容数据采集（demo）1，通过 https://query.api.kochava.

自定义Source读取OSS系统中文件一、POM依赖引入<properties> <flink.version>1.9.1</flink.version> <aliyun.oss.version>2.8.3</aliyun.oss.version></properties> <dependencies> <dependency> <groupId>com.a