flink ETL和ETL工具啥区别

最新推荐文章于 2024-03-23 13:03:20 发布
最新推荐文章于 2024-03-23 13:03:20 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleyuchi/article/details/111093717
版权

常见的ETL工具有sqoop,nifi,kettle　等等，那么有了这些ETL工具，为什么还需要flink来做etl工作呢？

这是因为ETL工具只能做数据传输，

flink则可以通过api或者udf/udaf/udtf做数据转化等工作

微电子学与固体电子学-俞驰
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于 Flink 的典型 ETL 场景实现-实时数仓篇.pdf
06-19
实时数仓实践
Flink的实时数据仓库与ETL应用
禅与计算机程序设计艺术
01-21 1042
1.背景介绍 在大数据时代，实时数据处理和ETL(Extract、Transform、Load)技术已经成为企业和组织中不可或缺的技术手段。Apache Flink是一种流处理框架，可以用于实时数据处理和ETL应用。在本文中，我们将深入探讨Flink的实时数据仓库与ETL应用，揭示其核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 Flink是一个开源的流处理框架，由阿帕奇基金...
Flink_CDC搭建及简单使用
m0_54850467的博客
07-29 313
CDC（ChangeDataCapture），在广义的概念上，只要能捕获数据变更的技术，都可以称为CDC。但通常我们说的CDC技术主要面向数据库（包括常见的mysql,Oracle,MongoDB等）的变更，是一种用于捕获数据库中数据变更的技术。目前市面上的CDC技术非常多,常见的主要包括FlinkCDC,DataX,Canal,Sqoop,Kettle,OracleGoldengate,Debezium等。...
ETL工具-nifi干货系列 第一讲 揭开nifi神秘面纱
zhangjin1222的博客
03-23 1004
是 NiFi 中的扩展点，在用户界面中由数据流管理者（DFM）添加和配置后，会在 NiFi 启动时启动，并为其他组件（例如处理器或其他控制器服务）提供信息。NiFi为所有接收到的数据提供了细粒度的数据溯源，包括接收、分叉、连接、克隆、修改、发送以及最终到达配置的最终状态时被丢弃的过程。因此，可以将几个组件合并在一起，形成一个更大的构建模块，用来创建数据流。通过报告任务，数据流管理者可以实时监控和评估 NiFi 实例的健康状态和运行情况，从而及时采取必要的措施以确保系统的稳定性和高效性。
几种不同的ETL工具简单理解
Yuhang.Pei 's blog
10-14 1850
个人从开始了解ETL到现在，接触最多的还是sqoop，感觉sqoop更多见一点。 也不清楚为什么那么多公司要求kettle\informatic等等。 下面谈一下个人对这些工具的理解，及应用场景 sqoop：个人感觉，大数据开发的同事大部分都会用，主要用于hive与 mysql/oracle等传统数据库之间的数据传输。即时性比较强，拿来即用，固定的脚本，拿过来改个地址改个库表名 ，就可以用。但只是用于传输，具体log要重定向打印，开发者自主查看进程。总体来说更偏向于开发者使用。 kettle ：图.
【数仓】数仓架构发展史
m0_54252387的博客
08-07 572
在真实的场景中，很多时候并不是完全规范的Lambda架构或Kappa架构，可以是两者的混合，比如大部分实时指标使用Kappa架构完成计算，少量关键指标（比如金额相关）使用Lambda架构用批处理重新计算，增加一次校对过程。这两个架构都是实时架构，都是对离线架构的扩展。...
Flink及主流流框架比较
justlpf的专栏
05-12 9016
引言随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品 - Apache Flink做了调研，今天与大家分享一下。Apache Flink(以下简称flink) 是一个旨在提供‘一站式’ 的分布式开源数据处理框架。是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flin...
网易游戏基于 Flink 的流式 ETL 建设
阿里云云栖号
03-17 1024
简介：网易游戏流式 ETL 建设实践及调优经验分享～ 网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括： 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一. 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成 ETL 才可以入库至实时或离线的数据仓库。此后，业务用户才可以方便地用 SQL 完成大部分数据计算，包括实时的 Flink SQL..
实时ETL，hive小文件处理「Spark Streaming」VS「Flink」
xzx0524的专栏
01-06 1533
Spark Streaming 和 Flink 解决实时ETL写入hive小文件过多问题。Spark Streaming 实时消费kafka入hive，一般控制批次数据在1分钟以内，甚至30s，而hive分区一般都会按照小时分区，就会导致小文件数据非常多。
使用 Apache Flink 开发实时 ETL
热门推荐
张吉的博客
12-30 1万+
Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 ...
基于 Flink 的典型 ETL 场景实现
10-16
【实时数仓篇】基于 Flink 的典型 ETL 场景实现
网易游戏基于 Flink 的流式 ETL 建设.pdf
03-13
网易游戏基于 Flink 的流式 ETL 建设.pdf
基于Flink Hudi的增量ETL架构
06-13
基于Flink Hudi的增量ETL架构
infrared-remote-candroid studiodemo
最新发布
05-05
android studio下载
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
05-05
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
05-05
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
flink cdc etl
08-04
总之，Flink CDC ETL 是一种基于 Flink 框架实现的数据流处理解决方案，通过利用 CDC 技术实时捕获数据库变化日志，将变化的数据转化为流式数据，并通过 Flink 的转换操作进行处理和加载，实现实时的数据分析和处理...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值