年关将至，送上一份Flink大礼包

最新推荐文章于 2024-04-24 15:19:20 发布
最新推荐文章于 2024-04-24 15:19:20 发布
阅读量225 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013516966/article/details/103884438
版权
这是一篇关于Flink实战经验的文章，作者分享了从去重、维度服务、Join操作、TopN计算、Exactly-Once保证到窗口机制、时间系统、源码分析以及运维监控等多个系列的内容，深入浅出地介绍了Flink在实际工作中的应用和理解。
摘要由CSDN通过智能技术生成


点击箭头处“蓝色字”，关注我们哦！！

从19年10月份开始决定写这些东西，不知不觉写了43篇文章，真的没想到自己能够坚持下来，每一篇文章都是从自己工作中总结出来的，每写一个系列都需要翻阅源码、查看资料、验证或者向一些同学请教，需要花很大的精力，但是这个过程中自己也收获了很多，也会收到一些同学的肯定，也会有一些同学给我私发红包的，但是被我拒绝了，首先很感谢大家的肯定，如果你觉得不错或者对你有帮助，希望能够动动手指让更多人的看到，自己也会坚持下去为大家带来更好的东西。

去重系列

一、Flink去重第一弹:MapState去重

二、Flink去重第二弹：SQL方式

三、Flink去重第三弹：HyperLogLog去重

四、关于hyperloglog去重优化

维度服务系列目

一、维表服务与Flink异步IO

二、Mysql维表关联：全量加载
三、Hbase维表关联：

最低0.47元/天 解锁文章
pucheung
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
6、Flink四大基石之Window详解与详细示例（一）
alanchanchn的专栏
07-11 4万+
流计算中一般在对流数据进行操作之前都会先进行开窗，即基于一个什么样的窗口上做这个计算。Flink提供了开箱即用的各种窗口，比如滑动窗口、滚动窗口、会话窗口以及非常灵活的自定义的窗口。在流处理应用中，数据是连续不断的，有时需要做一些聚合类的处理，例如在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，必须定义一个窗口(window)，用来收集最近1分钟内的数据，并对这个窗口内的数据进行计算。
5、Flink 的 source、transformations、sink的详细示例（一）
热门推荐
alanchanchn的专栏
07-07 4万+
本文介绍了source、transformations和sink的基本用法，下一篇将介绍各自的自定义用法。以上，简单的介绍了source、transformations和sink的使用示例。下文中所有示例都是用该maven依赖，除非有特殊说明的情况。3、在192.168.10.42中输入测试数据，如下。并行度为2的时候，生成了2个文件，内容如下。2、192.168.10.42上输入。4、观察应用程序的控制台，截图如下。并行度为1的输出，到hdfs看结果。3、观察应用程序的控制台输出。
flink 三种时间机制_实时计算系列时间机制
weixin_39980353的博客
01-02 2021
上篇文章讲过，实时计算相比离线计算来说，多了一个"时间"；引进了这么一个维度，考虑的事情就更多了，怎么去衡量表示时间？数据如果需要按时间做聚合怎么办？数据延迟了怎么办？数据乱序了怎么办？。。。下面就这几个问题来看下Flink是如何优雅的设计一套时间&窗口机制来解决这些问题的。窗口的使用方式：DataStream input = ; input.keyBy(new MyKeysel...
基于Flink 的实时 精准去重方法总结
马斯特杨的博客
05-30 3119
去重计算是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过 distinct 的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。本篇将会基于 Flink 讲解不同的实现方案： MapState 方式去重 SQL 方式去重 HyperLogLog 方式去重 Bitmap 精确去重 下面将以一个实际场景为例：计算每个广告每小时的点击用户数，
大数据流处理之Flink概述
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
06-13 3110
在大数据应用场景里，一般可将数据计算分为离线计算和实时计算，其中离线计算就是我们通常说的批计算处理，代表技术有Hadoop MapReduce、Hive等；实时计算也被称作流计算，代表技术是Storm、Spark Streaming、Flink等。其中，Flink即Apache Flink，它是由Apache软件基金会开发的开源流处理框架，基于Apache许可证2.0开发，其核心是用Java和Scala编写的分布式流数据流引擎。.........
【flink番外篇】11、Flink 并行度设置
alanchanchn的专栏
01-10 3万+
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
IDEA上运行Flink任务
程序员欣宸的博客
04-11 1万+
将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础。
Flink CDC详解
最新发布
Aidon博客
04-24 4969
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。Flink CDC本质是一组数据源连接器，使用更改数据捕获(CDC)从不同的数据库中摄取更改。Apache Flink®的CDC连接器集成了Debezium作为捕获数据更改的引擎，所以它可以充分利用Debezium的能力。
Flink CDC 1.0至3.0回忆录
ith321的博客
12-24 2838
Flink CDC 1.0至3.0回忆录
33、Flink之hive介绍与简单示例
alanchanchn的专栏
08-31 4万+
Flink与hive的介绍及简单示例
Apache Flink 在 eBay 监控系统上的实践和应用
02-26
Apache Flink 在 eBay 的监控系统 Sherlock.IO 中扮演着至关重要的角色，每天处理海量的日志、事件和指标数据。本文深入探讨了Flink在监控领域的应用现状、元数据驱动的作业管理和优化策略，以及如何通过元数据...
阿里超大规模Flink集群运维.pdf
07-21
根据提供的文档信息，我们可以总结出关于“阿里超大规模Flink集群运维”的一系列关键知识点： ### 一、Flink概述 **Apache Flink** 是一个开源流处理框架，它支持高吞吐量、低延迟的数据流处理。Flink 的设计目标...
Flink完美搭档：数据存储层上的Pravega
02-02
本文将从大数据架构变迁历史，Pravega简介，Pravega进阶特性以及车联网使用场景这四个方面介绍Pravega，重点介绍DellEMC为何要研发Pravega，Pravega解决了大数据处理平台的哪些痛点以及与Flink结合会碰撞出怎样的...
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
Flink intervalJoin 使用与原理分析
张普的专栏
11-07 8112
点击蓝字关注~~先看一个假设的案例：用户购买商品过程中填写收货地址然后下单，在这个过程中产生两个数据流，一个是订单数据流包含用户id、商品id、订单时间、订单金额、收货id等，另一个是收货信息数据流包含收货id、收货人、收货人联系方式、收货人地址等，系统在处理过程中，先发送订单数据，在之后的1到5秒内会发送收货数据，现在要求实时统计按照不同区域维度的订单金额的top100地区。在这个案例中两个数据...
Flink去重第一弹:MapState去重
张普的专栏
12-22 5636
点击上方蓝字关注~ 去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distin...
Flink去重第四弹：bitmap精确去重
张普的专栏
01-12 5057
点击箭头处“蓝色字”，关注我们哦！！往期精彩回顾Flink去重第一弹:MapState去重Flink去重第二弹：SQL方式Flink去重第三弹：HyperLogLog去重关于hyperl...
Flink自定义metric监控流入量
张普的专栏
11-02 4571
点击蓝字关注~~flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格...
Flink实战: 窗口TopN分析与实现
张普的专栏
11-13 4188
点击上方蓝字关注~ TopN 的需求场景不管是在离线计算还是实时计算都是比较常见的，例如电商中计算热门销售商品、广告计算中点击数前N的广告、搜索中计算搜索次数前...
Flink如何把一份数据存储到算子里
06-01
在Flink中，可以使用`RichFunction`中的`open()`方法来实现将数据存储到算子里。具体地，可以在`open()`方法中创建一个`List`或`Map`等数据结构，然后在`flatMap()`或`map()`等方法中将数据存储到这个数据结构中。例如，以下是一个简单的示例代码： ``` public class MyMapper extends RichMapFunction<String, String> { private List<String> dataList; @Override public void open(Configuration config) { dataList = new ArrayList<String>(); } @Override public String map(String value) { dataList.add(value); return value; } } ``` 在这个示例中，`MyMapper`继承了`RichMapFunction`类，实现了`open()`和`map()`方法。在`open()`方法中，创建了一个`List`数据结构`dataList`。在`map()`方法中，将每个输入的字符串存储到`dataList`中。这样，`dataList`就保存了所有经过`MyMapper`的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值