- 博客(2)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Mapreduce读写Avro序列化文件
目录(1) MapReduce读取Avro格式文件(2) MapReduce写入Avro格式文件以WordCount为例来简单说明一下MapReduce如何读写Avro格式的序列化文件，小白初学，如有错误，欢迎批评指正！首先pom.xml文件中需要引入相关依赖<properties> <arvo.version>1.8.2</arvo...
2018-11-17 19:45:31
975
原创 AirFlow 如何传参数给DAG
题外话（可以直接跳过进入正题）： 最近需要使用airflow去调度任务，平常使用airflow都是调度的定时任务，这次不需要定时任务，只需要条件满足时主动触发airflow执行任务调度即可，同时将任务必要的外界参数传给DAG。查了好多资料发现都没有介绍如何将参数传给DAG的，于是就去看airflow文档，找到了使用命令行可以将参数传给DAG。但这种方式不适合我的任务需求，我需要调用air...
2018-11-14 23:00:07
10592
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人