minio+kettle+airflow实现采集数据自动入库

一、minio介绍

Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。对于中小型企业，如果不选择存储上云，那么 Minio 是个不错的选择，麻雀虽小，五脏俱全。关于minio在服务器上的部署这里不做赘述，网上有很多教程，可以自行搜索。

1.1minio界面

部署好后可以通过minio上传非结构化的数据文件，比如常用的excel表格、图片等。如果我们自己学习用，那可以直接通过xshell等工具，实现数据直接传输到服务器。但是生产环境下经常是需要我们做好程序或者平台，供业务人员使用，因此需要一个文件传输的工作，此处选用minio。

 二、kettle介绍

Kettle最早是一个国外开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。分为商业版与开源版。可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶。它允许管理来自不同数据库的数据，把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle几乎支持市面上所有的数据库系统，对于传统数仓来说这是镇海神针,传统数仓分析必备神器。通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

将需要入数据库的数据通过etl工具来实现，对于数据量小kettle是个不错的选择，上手快，门槛低。

2.1kettle界面

 

三、airflow介绍

​ Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。

本次采用airflow调度工具，实现自动化数据入库。

3.1airflow界面

 四、实现过程

 4.1数据上传

首先通过minio上传功能，将数据文件上传至服务器。

 

4.2kettle进行数据清洗

本次数据文件是excel，以此为例。

整个工作流是这样的：

1. 涉及一个作业与做个转换。
2. 设置变量（可有可无）
3. 当一个作业成功跑完，源文件的会从上传文件夹归并到完成文件夹，如果检查没有对应文件，则改程序直接跳转到成功不继续执行。
4. 清空过程表，每次上传的数据首先会写入到过程表中，然后在读取写入到目标表中。
5. 导入目标表，没什么好说的，纯sql脚本
6. 修改文件，成功后源文件会移动到归档文件夹中
7. 失败通知，这个是email通知。

kettle很好操作的，这边讲一下我这个项目的主要几个点：

由于数据是人工采集的，而且没有设置唯一字段，因此，这边需要在入库前对一些字段组合成md5密码，以区分数据是否重复。

update ods.v_stu_temp
set file_uuid = MD5(concat(ifnull(factor_id,""),ifnull(org_id,""),ifnull(stat_year,""),ifnull(num_disciplines,"")))

从中间表导入到目标表时，sql脚本中添加过滤条件即可，匹配中间表md5编码不在目标表中的则insert写入。

4.3airflow任务调度

最后写好airflow调度脚本，上传至/opt/airflow/dags，dags目录下，然后刷新页面就可以看到web页面端有新的任务，点击启动即可

 4.4bi平台数据查看

最后通过bi平台连接数据库，查看数据库数据，实现数据查看