任务迁移操作流程

已于 2023-08-21 12:22:59 修改
阅读量358 收藏
点赞数
分类专栏： DataWorks 文章标签： 大数据 迁移学习
于 2023-08-21 12:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Taerge0110/article/details/132405637
版权

AirFlow&DataWorks任务迁移操作流程

1- DataWorks迁移 -> 不同工作空间之间迁移
1- 进入迁移助手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2- 创建导出任务

(jike_emr_works)

全量导出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-demlfhj5-1692590277019)(任务迁移操作流程.assets/image-20210624144244593.png)]

增量导出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GK16rKjt-1692590277020)(任务迁移操作流程.assets/image-20210624144630211.png)]

自选导出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d3RUge9D-1692590277020)(任务迁移操作流程.assets/image-20210624144641680.png)]

自选导入为例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5l2ISrGU-1692590277020)(任务迁移操作流程.assets/image-20210624145057140.png)]

筛选条件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ltW0xRj8-1692590277021)(任务迁移操作流程.assets/image-20210624145505333.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cmdiN1zC-1692590277022)(任务迁移操作流程.assets/image-20210624145702633.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pZOHT3iU-1692590277022)(任务迁移操作流程.assets/image-20210624145830221.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HSaEQW5U-1692590277023)(任务迁移操作流程.assets/image-20210624145927065.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eAZhEyel-1692590277023)(任务迁移操作流程.assets/image-20210624150014531.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CxdTuh5e-1692590277024)(任务迁移操作流程.assets/image-20210624150403484.png)]

3- 创建导入任务

(geek_emr_works)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lly5b5Sc-1692590277025)(任务迁移操作流程.assets/image-20210624150737921.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zuFoZOD7-1692590277025)(任务迁移操作流程.assets/image-20210624150853628.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9KYUtb9x-1692590277026)(任务迁移操作流程.assets/image-20210624151225400.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hT3SVirb-1692590277027)(任务迁移操作流程.assets/image-20210624151342513.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5JpbylDY-1692590277027)(任务迁移操作流程.assets/image-20210624151359595.png)]

4- 进入数据开发

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K8bDhZFZ-1692590277028)(任务迁移操作流程.assets/image-20210707122751267.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o5vsSD9o-1692590277030)(任务迁移操作流程.assets/image-20210707123050244.png)]

2- AirFlow业务迁移流程

引擎作业导出

1- 设置PTYHONPATH 指定PYTHONPATH到airflow的python lib目录

export PYTHONPATH=/opt/airflow/venv/lib/python3.6/site-packages

2- 执行airflow任务导出

python3.6 ./parser -d /opt/airflow/airflow/dags/emr_wifi_fingerprint_etl.py -o emr_wifi_fingerprint_etl.json

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bINs1RCy-1692590277030)(任务迁移操作流程.assets/image-20210707111629838.png)]

3- 下载导出文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wx2VCkgq-1692590277031)(任务迁移操作流程.assets/image-20210707111733268.png)]

4- 打成zip包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q0uG1e2h-1692590277032)(任务迁移操作流程.assets/image-20210707112302124.png)]

引擎作业导入
1- 进入迁移助手

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YiJyyAfD-1692590277032)(任务迁移操作流程.assets/image-20210624121256777.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VnauSAXZ-1692590277033)(任务迁移操作流程.assets/image-20210624143307941.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1SPOtzUR-1692590277033)(任务迁移操作流程.assets/image-20210624143510236.png)]

2- 创建导入任务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-52ijIHcH-1692590277033)(任务迁移操作流程.assets/image-20210707112733524.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dOts7u4B-1692590277034)(任务迁移操作流程.assets/image-20210707112915068.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-poHBWl2R-1692590277034)(任务迁移操作流程.assets/image-20210707113120833.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3PRc4xST-1692590277035)(任务迁移操作流程.assets/image-20210707113502046.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xu5LObFo-1692590277036)(任务迁移操作流程.assets/image-20210707113658430.png)]

3- 进入数据开发

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OscCQPRf-1692590277036)(任务迁移操作流程.assets/image-20210707113851965.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DJfOZBlw-1692590277037)(任务迁移操作流程.assets/image-20210707114025920.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T4VGlLnE-1692590277037)(任务迁移操作流程.assets/image-20210707114218077.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T99GFXfX-1692590277038)(任务迁移操作流程.assets/image-20210707115233972.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c6QsoE8M-1692590277038)(任务迁移操作流程.assets/image-20210707120101119.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I46BnAkr-1692590277039)(任务迁移操作流程.assets/image-20210707120253315.png)]

4- 进入运维中心

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9uzpwQxF-1692590277039)(任务迁移操作流程.assets/image-20210707120025838.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kOdTejYR-1692590277039)(任务迁移操作流程.assets/image-20210707121039219.png)]

任务导入成功

end

Taerge0110
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Airflow dag迁移
Sonnie0000001的博客
06-13 225
dag迁移后 调度到了设定时间 不会继续执行
Spark SQL 任务迁移到 Amazon EMR 及性能调优
亚马逊云科技专栏
11-29 1631
背景介绍 IDC 客户上云也会伴随将 IDC 中的一些大数据的工作负载迁移到云上来，和大多数线下 Hadoop 集群相比，亚马逊云科技也提供了更为适合云上的 Hadoop 服务：Amazo...
配合任务迁移数仓ETL脚本按需替换方案
BabyFish13
12-12 405
1、需求场景描述 Etl任务迁移，需要对原etl脚本进行改造。将原实际的目标及源库名替换成参数样式。老的方式：ods.user_visit_new、dwt.dwt_user_visit要替换成的格式： 源表 使用 c.from 前缀，如 ${c.from.ods}.user_visit_new 目标表 使用 c.to 前缀，如： ${c.to.dwt}.dwt_user_visit 2、具...
airflow-exporter:Airflow插件可将dag和基于任务的指标导出到Prometheus
05-11
气流普罗米修斯出口商 将基于dag和任务的指标从Airflow公开到Prometheus兼容端点。 与Airflow版本的兼容性 > = 2.0 当前版本与Airflow 2.0+兼容 <= 1.10.14，> = 1.10.3 兼容v1.3.2 注意：带有Python 3.8用户的Airflow 1.10.14 您应该安装importlib-metadata软件包才能加载插件。 有关详情，请参见 。 <1.10.3 兼容版本 安装 pip install airflow-exporter 就是这样。 你完成了。 将额外的标签导出到Prometheus 通过为DAG params提供labels dict，可以向DAG相关指标添加额外的标签。 例子 dag = DAG ( 'dummy_dag' , schedule_interval = timedelta
大数据调度最佳实践 | 从Airflow迁移到Apache DolphinScheduler
Apache DolphinScheduler开源社区
10-25 1197
Air2phin 是一个基于规则的 AST 转换器，提供了从 Airflow dag 文件转成 pydolphinscheudler 定义文件的功能。其使用 LibCST 解析和转换 Python 代码，并使用 Yaml 文件定义转换规则。他是一个协助用户完成转化的工具，并非是一键转化工具。大部分 Airflow 的用户都会自定义部分 operator，想要转化这部分的 operator 需要用户自定义规则，幸运的 Air2phin 的规则是基于 YAML 文件的，意味用户可以较为简单的新增规则。
DataWorks搬站方案：Azkaban作业迁移至DataWorks
阿里云云栖号
04-25 1161
简介： DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。 DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。 支持迁移的Azkaban版本 支持全.
数据迁移操作说明1
08-08
数据迁移在IT行业中，特别是在数据库管理领域，是一个关键任务，它涉及到将数据...以上就是数据迁移的基本操作流程，希望对你理解和执行数据库迁移有所帮助。在实际操作中，还需结合具体项目需求和环境进行适当的调整。
应用系统迁移方案.pdf
03-30
应用系统迁移方案是一项复杂而关键的任务，尤其当涉及到指挥中心的核心应用，如分析管理平台和指挥平台时。本方案旨在满足用户招标需求，实现应用和新建业务平台的一体化集成，并确保在迁移过程中，工作不会中断，...
用深度学习训练机器学习的任务迁移.zip
01-13
标题中的“用深度学习训练机器学习的任务迁移”指的是利用深度学习的方法来解决传统机器学习任务迁移的问题。在机器学习中，任务迁移或迁移学习是将一个领域的学习成果应用于另一个相关领域的策略，以此提高新任务的...
XX银行机房搬迁oracle数据库迁移方案和操作流程.docx
07-12
"XX银行机房搬迁oracle数据库迁移方案和操作流程" 本文档概括了XX银行机房搬迁Oracle数据库迁移方案和操作流程，用于提升业务系统运行效率和连续性。该迁移方案涉及到11个数据库的迁移，使用第三方同步软件实现数据...
VMware_物理机迁移到虚拟机P2V(热迁移).pdf
07-13
在vCenter中，通过“文件”>“新建”>“已调度任务”，然后选择“导入计算机”来开始迁移流程。 8. **数据源配置**：在导入向导中，输入物理机的IP地址、用户名和密码，选择是否在迁移后删除Converter Agent。 9. ...
Airflow的使用及注意事项
lihuifen2011的博客
03-17 9403
一.关于Airflow airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow可以用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。 Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流（即有向无环图或成为DAGs）的工具。因此一些任务的执行及任务调度均可通过Airflow...
[译] 从 Cron 到 Airflow 的迁移中我们学到了什么
weixin_34062469的博客
07-16 117
原文地址：What we learned migrating off Cron to Airflow 原文作者：Katie Macias 译文出自：掘金翻译计划 本文永久链接：github.com/xitu/gold-m… 译者：cf020031308 校对者：yqian1991 去年秋天，VideoAmp 数据工程部门正在进行重大变革。当时的团队由三名数据工程师和一名与我们密切合作的系统...
工作流调度工具Airflow1.8搭建及使用
weixin_34195142的博客
05-29 1008
编写目的 最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow...
Airflow 1.8 工作流平台搭建
热门推荐
11-03 2万+
Airflow 是Airbnb公司开源的，是用 Python 实现的任务管理、调度、监控工作流的平台。因依调度赖于 crontab ，Airflow 目前只支持在安装在 Linux 系统平台。Airflow 可以用做 data pipeline（ETL）、 消息队列等监控。
AirFlow容器部署和使用
大数据指北
06-15 1644
一、如何制作AirFlow容器 1、安装docker环境 基于centos环境下进行部署，建议在centos6或者centos7的环境下 1.1、下载docker安装包 下载地址：https://download.docker.com/linux/static/stable/x86_64/ 推荐使用的版本是18.09.6 1.2、下载到本地后解压 tar -zxf docker-18.09.6.tgz 1.3、将解压出来的docker文件内容移动到 /usr/bin/ 目录下 cp docker/
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
最新发布
qq_58462591的博客
08-01 267
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 658
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Flink DataStream API编程入门
L
08-01 178
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
kettle任务迁移到dolphinscheduler
04-05
如果您想将 Kettle 任务迁移到 DolphinScheduler 中，可以按照以下步骤进行操作： 1. 安装 DolphinScheduler。您可以参考 DolphinScheduler 官方文档进行安装。 2. 在 DolphinScheduler 中创建一个新的项目。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值