flink 1-个人理解

最新推荐文章于 2022-03-30 10:42:10 发布
最新推荐文章于 2022-03-30 10:42:10 发布
阅读量93 收藏
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hvgdfx/article/details/105067975
版权
flink流程
  1. 创建env，就是起一个环境
  2. 添加源（就是数据从哪儿来），文件、socket、collection、addSource
  3. 处理数据（transformation）
  4. 消费数据（把数据放哪儿）files、sockets、external system、print、addSink
如何保持数据一致性
  1. watermark
  2. checkpoint
ref

flink 官网

007在学算法
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（1） - File、Socket、Collection
alanchanchn的专栏
12-11 2万+
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
slot没有毁灭的问题_解析flink之perjob模式下yn参数不生效问题
weixin_34766991的博客
01-30 662
概要：0. 问题背景1. Stream Job的切分2. 计算资源的调度 & 任务的执行3. 最后的总结0. 问题背景：开始用flink处理流式作业的时候，用yarn-cluster模式提交作业的时候，脚本如下：$FLINK_BIN run -m yarn-cluster -yqu root.profile -yn 20 -yjm 4096 -ytm 8192 -ynm Rece...
Flink的内存模型的一些个人理解
淡定一生2333的博客
06-19 2154
其实官方文档中的对于Flink内存模型讲解的已经很详细了，本文主要是介绍下个人对这个内存模型的理解，如果有理解不对的地方，希望大家帮忙指正下！ 因为接触Flink的时间比较晚，所以一上来我们使用的就是V1.10版本，TaskManager的内存模型与配置在该版本中做了很大的优化。 Flink 1.10之前的的内存模型存在的缺点： 1.流处理与批处理内存配置方法不同。比如TaskManager这块内存，在批处理中有用，在流处理中使用不到的 2.内存配置细节繁...
Flink入门--Flink介绍
马小胖测试历险记
07-28 306
-----Flink 1、个人理解：Flink也好，Spark也好，将我们原本需要实现的功能以框架的形式封装好，然后我们如果使用Flink，直接从业务的角度出发，多关心业务，就可以使用。 基本架构图：Flink系统主要由两个组件组成，分别为JobManager和TaskManager，Flink的架构也遵循Master-Slave架构设计原则，JobManager和Master节点，TaskManager为Worker（Slave）节点，所有组件之间的通信都是借助于Akka Framework .
Flink架构
qq_42009405的博客
02-08 3269
Flinks所需组件 JobManager 接受需要执行的应用，此应用包含一个JobGraph(逻辑Dataflow图)，以及打包了全部所需类、库以及其他资源的JAR文件。JobManager将JobGraph转化为ExecutionGraph(物理Dataflow图)，此图包含了那些可以并行的任务。 JobManager向ResourceManager申请执行任务所需资源(TaskManager的slot槽)。 将ExecutionGraph中的任务分发给TaskManager来执行。 负责所有需要集中
Flink实用教程_预览版_v1.pdf
09-24
此外，教程还强调了动手实践的重要性，提供了配套的代码、数据集和个人大数据学习平台 PBLP，帮助读者在实践中更好地理解和掌握 Flink。 通过深入学习这本书，读者不仅可以了解 Flink 的核心概念和技术，还能通过...
基于Flink流处理的动态实时亿级全端用户画像系统1
08-08
这样的系统能够实时更新用户信息，帮助企业更好地理解用户需求，实现精准营销，提高用户粘性和系统趣味性，从而创造显著的商业价值。 一、项目概述 1.1 整体概述 该系统以大数据流处理为核心，结合用户静态信息和...
基于 Flink 的实时商品推荐系统
12-04
通过这个项目，开发者可以深入理解如何利用Flink构建实时推荐系统，同时也可以学习到如何处理实时数据、设计推荐算法以及实现前后端交互。对于想要提升大数据处理和推荐系统构建技能的IT从业者来说，这是一个宝贵的...
myflink：我的flink练习项目
02-22
首先，我们要明确“myflink”项目是一个个人的Flink练习项目，旨在帮助开发者熟悉Flink的API和工作原理。它可能包含了各种Flink的实例，例如数据源接入、数据转换、窗口操作以及结果输出等。使用Scala作为编程语言，...
说几个flink好做spark却不好做的场景
01-07
就拿flink和spark streaming来说吧，要是理解其设计灵感就会很简单的理解该选谁： spark 是做批处理起家，然后以微批的形式开创了流处理。使用场景很显而易见了，允许一点延迟，批量处理，吞吐量优先地，而且spark ...
02 Flink 之读取数据
朱古力的博客
05-29 650
Flink 之读取数据 文章目录Flink 之读取数据1. 从集合中读取数据2. 从文件中读取数据3. 从 Kafka 消息队列中的数据作为来源4. 自定义 Source 1. 从集合中读取数据 import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} import org.apache.flink.api.scala._ // 创建样例类 case class SensorReading(id
Flink+Alink，当大数据遇见机器学习！ 博文视点Broadview 前天
博文视点（北京）官方博客
06-03 804
以下内容节选自《Flink实战派》一书！ 大数据技术和人工智能（机器学习）的结合，使利用数据价值的技术有了新的突破。 在通常情况下，大数据技术与机器学习是互相促进、相依相存的关系。 01 大数据和机器学习之间的关系 机器学习不仅需要合理、适用和先进的算法，还需要依赖足够好和足够多的数据。 大数据可以提高机器学习模型的精确性。 数据的数据量越多，质量越高，机器学习的效率和准确性就越高。机器学习是大数据分析的一个重要方向（方式）。 大数据技术深度结合人工智能将是未来发展的一个重要方向。 大数据实时计算框架Fl
flink 参数之 -yn and -p
raidtest的专栏
12-28 2269
-yn  container , also known as task manager conut. -p, parallelism , it is the count the job be divided into.  the count of subtask. please see following code: when set the -p, whatever, flink
Flink学习5---DataStream之DataSource API (三）基于集合的fromCollection
zhuzuwei的博客
07-04 3007
fromCollection 可直接从集合中读取数据作为流，由于集合是有界的，所以该数据流有界，读完之后程序会自动退出。 是非并行的DataSource，主要用于测试。 import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import java.util.Array
FLINKSQL自定义UDF函数1之collect_list&collect_set
feiyangailing的博客
03-30 4098
FLINKSQL自定义UDF函数1之collect_list&collect_set` 文章目录FLINKSQL自定义UDF函数1之collect_list&collect_set`前言一、collection_list1.编写CollectList类注意点1.1类型的输入1.2方法1.3测试结果展示2.collection_set注意点1.1这里我使用Set直接作为ACC有问题1.2 测试结果总结 前言 由于flink里面没有hive的collection_list以及collectio
flink实战--flink原理解析
阿华田的博客
09-30 1万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink自学教程
热门推荐
weixin_43342277的博客
10-05 2万+
Flink自学教程 1.1.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将...
培训课件 -从0到1搭建培训管理体系.pptx
07-13
培训课件 -从0到1搭建培训管理体系.pptx
tensorflow-gpu-2.9.0-cp37-cp37m-win-amd64.whl.zip.(whl)
最新发布
07-14
使用时需去掉后缀.(whl)后再解压
大数据学习之flink介绍及实战
12-14
学习FLINK不仅可以提升大数据处理技能，还能帮助开发者深入理解分布式计算原理和实时处理的最佳实践。通过阅读这份PPT，你可以掌握Flink的基础知识，进一步探索其在实际项目中的应用。同时，访问提供的个人博客网站...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值