Flink基础知识的简单理解

最新推荐文章于 2024-08-08 10:33:39 发布
最新推荐文章于 2024-08-08 10:33:39 发布
阅读量707 收藏 2
点赞数
分类专栏： 笔记 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43307308/article/details/107314426
版权
本文介绍了Apache Flink的基础知识，包括其作为流处理框架的角色，OLTP与分析处理的区别，以及Flink的主要特点，如事件驱动、流的世界观、事件时间和处理时间语义、精确一次的状态一致性保证等。
摘要由CSDN通过智能技术生成

Flink基础知识整理

Flink介绍

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。

流处理介绍

事务处理（OLTP）
在这里插入图片描述
OLTP：在线事务处理，所有事件都存储到MySQL里。

分析处理(Hive) (MySQL -> Sqoop -> Hive)
将数据从业务数据库复制到数仓，再进行分析和查询
在这里插入图片描述
将MySQL里的数据进行ETL，把它同步到数仓中，然后做报表分析或者做一些其他的查询。比如用Sqoop把MySQL的数据同步到Hive中，所有都在Hive中进行查询。

有状态的流式处理
在这里插入图片描述
流

最低0.47元/天 解锁文章
xruihao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink基础概念及常识
随风i的博客
06-25 693
flink入门
Flink知识概要
TU_JCN的博客
07-06 3887
Flink 是分布式实时和离线计算引擎，
Flink基础知识及基本使用
weixin_49057491的博客
12-06 752
Flink基础知识及基本使用 一、Flink简介 Flink项目的理念是：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架” 1.1、Flink的重要特点 ​ a、支持事件时间（event-time）和处理时间（processing-time）语义 ​ b、精确一致性和状态一致性 ​ c、低延迟，每秒处理百万个事件、毫秒级延迟 ​ d、与众多常用存储系统的连接 ​ e、高可用，状态扩展，实现7*24小时全天候运行 1.1.1、事件驱动型(Event-driv
Flink基础知识梳理
呼呼的小窝
04-05 546
Flink入门基础编程框架wordcount批处理版本wordcount流处理版本Flink基本APIExecutionEnvironmentLazy EvaluationSpecifying KeysSpecifying Transformation Functions使用lambda function自定义FunctionRich FunctionFunction体系结构 基础编程框架 不管是...
flink入门（一）--了解Flink看这一篇就够了！
最新发布
zzy66666c的博客
08-08 617
什么是Flink，Flink的特点，与spark Streaming的对比，层次架构，ApI，集群架构的核心组件
Flink基础知识
lihuazaizheli的博客
02-26 470
Flink基础知识
Flink 简介和理解
weixin_52346735的博客
02-28 157
** 什么是 Flink ** Apache Flink 是一个分布式大数据处理的引擎，可对有限的数据流和无线数据流进行有状态的计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算 有限数据流：数据分批次执行完的 无限数据流： 一直接收计算，不停歇的 Flink的历史 早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apache 孵化器所接受，然后迅速地成为了 ASF（Apache Software Foundation）的顶级项目之一 Flink的商
flink 基础知识
github_35578042的博客
06-12 82
Flink 作业提交分为2种情况： ·on seesion需要先启动集群，向yarn申请一块空间后，flink集群将一直存在。然后在提交作业，作业完成，释放作业消耗的相应资源空间。如果资源满了，下一个作业就无法提交，只能等到yarn中有空闲资源时，那下一个作业才会正常提交. ·per job ，Flink run不需要额外的去启动一个集群，直接提交作业，即可完成Flink作业，每提交一个作业会根据自身的情况，向yarn申请资源，创建一个新的flink集群，直到...
Flink基础教程.rar
09-15
《Flink基础教程》 Apache Flink是一款开源的流处理和批处理框架，它在大数据实时处理领域扮演着重要角色。本教程旨在帮助初学者快速掌握Flink的基础知识，包括其核心概念、API使用以及常见应用场景。 一、Flink...
Flink--基础篇（01、基础知识）
小刺猬喜歡獨角獸
07-28 414
flink
flink入门基础知识整理（持续更新）
weixin_42396063的博客
11-17 3346
本文为FLink入门基础知识整理，包括概念、APi、核心抽象等
Flink入门知识点
Poolweet_的博客
09-21 440
初识 Flink Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目， 2014 年 4 月 Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会， 参加这个孵化项目的初始成员是Stratosphere 系统的核心开发人员， 2014 年 12 月， Flink 一跃成为 Apache 软件基金会的顶级项目。 Flink 项目的理念 Apache Flink 是为分布
最通俗易懂的Flink运行架构
Li_Jian_Hui_的博客
07-15 3665
主要内容 Flink运行时的组件 任务提交流程 任务调度原理 资源密集任务 非资源密集任务
Flink的一些理解（一）
百看不如一RUN
11-03 512
1. Flink概述 1.1 Flink简介 Apache Flink® — Stateful Computations over Data Streams Apache Flink 是一个框架和分布式处理引擎，用在无边界和有边界数据流上进行有状态的计算。FLink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 1.2 有界和无界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上 的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无
Flink入门知识点汇总（一）
qq_65052774的博客
03-21 872
Master是Spark的进程， Driver 是运行用户应用程序的进程。在一个 Flink 集群中，通常会有多个 TaskManager 实例，每个 TaskManager 可以运行在不同的机器上，故可以配置每个 TaskManager 的 Slot 数量为其所在机器的 CPU 核心数（每台机器通常运行一个 TaskManager 实例，和Hadoop的DataNode一样）每个slot内部是不间断地并行运行同一个作业中的不同算子链的任务，不是内部串行，每一个算子链的进度都是时刻在变且相互之间没有联系。
Effective Apache Flink（一）Apache Flink 是什么?
哈喽天方方
09-02 411
Effective Apache Flink（一）Apache Flink 是什么? 目录 Effective Apache Flink（一）Apache Flink 是什么? 一、架构 处理无界和有界数据 部署应用到任意地方 运行任意规模应用 利用内存性能 二、应用 流处理应用的基本组件 流 状态 时间 分层 API ProcessFunction DataStre...
Flink基础入门（含案例）
黑马程序员官方博客
02-16 2989
大数据技术框架发展阶段总共有四代，mr-->DAG框架（tez）--->Spark流批处理框架，内存计算（伪实时）-->flink流批处理，内存计算（真正的实时计算）flink是一个分布式，高性能，随时可用的以及准确的流处理计算框架，flink可以对无界数据（流处理）和有界数据（批处理）进行有状态计算（flink天生支持状态计算）的分布式，高性能的计算框架。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xruihao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值