阿里云大数据ACP（二）数据集成 Data Integration

最新推荐文章于 2024-11-25 13:51:06 发布

云祁

最新推荐文章于 2024-11-25 13:51:06 发布

阅读量1k

点赞数 2

分类专栏： # ---- Alibaba Cloud 文章标签：大数据阿里云可视化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/BeiisBei/article/details/106076246

版权

---- Alibaba Cloud 专栏收录该内容

17 篇文章 21 订阅

订阅专栏

本文深入探讨数据集成的概念，介绍其在DataWorks中的应用，包括数据源配置、同步任务创建与运行，以及如何处理同步过程中的脏数据。此外，还详细讲解了常见配置如白名单、安全组设置及数据字段映射等关键操作。

摘要由CSDN通过智能技术生成

一、简介

1.1 什么是数据集成

在这里插入图片描述

1.2 数据集成简介

在这里插入图片描述

1.3 数据集成支持的数据源

在这里插入图片描述

1.4 数据同步

在这里插入图片描述

1.5 数据同步作业

在这里插入图片描述

1.6 数据同步的权限与安全

在这里插入图片描述

1.7 数据集成 & DataX

在这里插入图片描述

数据集成（DataWorks中的数据集成）基于DataX平台的可视化配置+调度系统，核心是一致的。

二、数据同步

2.1 利用数据集成同步数据

在这里插入图片描述

2.2 配置数据源

在这里插入图片描述

2.3 创建同步任务

在这里插入图片描述

2.4 运行同步任务

在这里插入图片描述

2.5 查看同步任务结果

在这里插入图片描述

2.6 同步中的“脏”数据和容错

在这里插入图片描述

三、常见的配置

3.1 配置白名单

在这里插入图片描述

3.2 配置安全组

在这里插入图片描述

3.3 通道控制参数DMU配置

在这里插入图片描述

3.4 通道控制参数并发配置

在这里插入图片描述

3.5 通道控制错误记录数配置

在这里插入图片描述

3.6 数据源切分键配置

在这里插入图片描述

3.7 数据字段映射配置

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。