大数据指北

文章目录前言一、airflow的java工具类前言在使用airflow的时候，还没有升级到2.0，官方给的也是实验API，不足以满足工作中的需要。因此对airflow1.10.6版本的进行了java封装一、airflow的java工具类public class AirflowUtils { private static Logger logger = LoggerFactory.getLogger(AirflowUtils.class); /** * 功能：Airfl

很幸运，能参加公司产品组的数据中台项目研发，在离线业务中，针对ETL任务的调度，以及拖拽脚本，使用的是Apache公司开源的调度平台Airflow进行封装。文章目录前言一、Airflow介绍二、Airflow 的 Web 界面1. 选中其中一个DAG三、Airflow中的作业和任务1. DAG2. Task四、Airflow的调度时间五、Airflow的调度方式1.调度方式六、作业操作框七、Airflow 的 菜单栏界面1. 池2.连接3.XComs4.变量总结前言随着离线业务的逐渐发展，定时调度

文章目录前言一、portainer的介绍查询当前有哪些Portainer镜像下载镜像单机版运行二、 Airflow的镜像包三、portainer平台上部署airflow总结前言通过轻量级容器管理工具portainer对airflow进行部署一、portainer的介绍Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理

经过前面章节可视化工具搭建airflow容器，虽然有非常直观，但是在真实的内网环境中，往往会没有端口与互联网进行映射，所以非常有必要知道docker-compose的方式进行airflow容器化部署文章目录前言一、Airflow的镜像包二、docker-compse文件三、部署airflow总结前言采用docker-compose的方式进行ariflow的容器化部署，非常方便的一键启动，并且使用local模式运行一、Airflow的镜像包airflow1.10.6版本的tar包以及相关文件上

本人设置过程：邮件发送方:网易163 邮件接收方:qq邮箱第一步：开通网易163的smtp服务功能(百度so easy)，并且获取授权码。第二步:设置airflow里的airflow.cfg配置文件如下例子：[email]email_backend = airflow.utils.email.send_email_smtp[smtp]# If you want a...

1. 依赖MySqlOperator的数据库交互通过MySQLdb模块来实现, 使用前需要安装相关依赖:pip install apache-airflow[mysql]2. 使用使用MySqlOperator执行sql任务的一个简单例子:from airflow import DAGfrom airflow.utils.dates import days_agofrom airflow.operators.mysql_operator import MySqlOpe...

一、把AirFlow镜像上传到Harbor1.在本地虚拟机把做好的容器导入成镜像 docker load -i airflow.tar2.登录私有仓库（其实就是登录Harbor）docker login 10.1.119.12 -u admin -p Harbor123453.重命名对象docker tag airflow 10.1.119.12/gx/airflow:14.将镜像推至Harbor上docker push 10.1.119.12/gx/airf

本人的环境是基于centos7下来安装的一、安装docker下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/下载到本地后解压tar -zxf docker-18.09.6.tgz将解压出来的docker文件内容移动到 /usr/bin/ 目录下cp docker/* /usr/bin/将docker注册为service新建文件vim /etc/systemd/sy...

airflow默认使用utc时间，在中国时区需要用+8小时就是本地时间，下面把airflow全面修改为中国时区，带大家改airflow源码博主使用airflow版本是1.10.2，其它版本大同小异，参照修改即可使用 pip安装apache-airflow 的修改方式在airflow家目录下修改airflow.cfg，设置 default_timezone = Asia/...

1）默认自带python2环境，自行安装pipyum -y install epel-releaseyum install python-pip2）进行pip的更新，否则很多安装会报错pip install --upgrade pippip install --upgrade setuptools3）安装开发库yum install python-develyum ...