Apache Flink连载（六）：Apache Flink快速入门 - Flink案例实现

已于 2023-12-28 00:27:04 修改
阅读量916 收藏 16
点赞数 18
分类专栏： 大数据计算体系技术栈 Apache Flink 文章标签： apache flink 大数据
于 2023-12-04 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/134699484
版权

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. Flink 批数据处理案例

2. Flink流式数据处理案例

3. Flink批和流案例总结

数据源分为有界和无界之分，有界数据源可以编写批处理程序，无界数据源可以编写流式程序。DataSet API用于批处理，DataStream API用于流式处理。

批处理使用ExecutionEnvironment和DataSet，流式处理使用StreamingEx

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IT贫道
关注
  • 18
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
flink-deployer：一种工具，可帮助自动部署到Apache Flink集群
02-04
有关命令和标志的完整概述，请运行flink-job-deployer help 如何在本地运行 为了能够在本地测试部署程序，请按照下列步骤操作： 构建CLI工具docker镜像： docker-compose build deployer 可选： cd flink-sample-...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是...
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）
05-07
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行...
kinesis-flink-hello-world:AWS Kinesis和Apache Flink示例
03-09
kinesis-flink-hello-world AWS Kinesis和Apache Flink示例 动因制片人 aws kinesis put-record --stream-name < yourCreatedStreamNameHere> --data ' {"hello":"test"} ' --partition-key " KEY0 " 免责声明 如果...
Apache2 Ubuntu-XXE漏洞渗透
weixin_53736204的博客
07-25 505
只知道他在192.168.30.1-192.168.255之间，然后御剑2014端口扫描去扫描IP，发现IP为192.168.30.128是有响应。因为我们用的net模式，我们可以在本机通过ip来访问他的网站，但我们不知道他分配是哪个ip。打开robots.txt看看有什么东西，看见有/xxe目录，还有给admin.php。解码后，发现用户名密码，用户名：administhebest，密码是加密过的。我们构造xxe语句将&xxe;我们试一下xxe发现发现一个新网页，是/xxe/index.php。
Flink时间和窗口
L
07-24 1070
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
分布式系统常见软件架构模式
Ben的专栏
07-25 1019
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
2202_75352238的博客
07-28 782
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 1007
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
基于 SASL/SCRAM 让 Kafka 实现动态授权认证
最新发布
zlt2000的博客
07-29 450
本文将从零开始部署ZooKeeper和Kafka并通过配置SASL/SCRAM和ACL（访问控制列表）来增强Kafka的安全性
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 931
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 551
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
自定义维度映射：Kylin Cube设计的高级玩法
2401_85763639的博客
07-25 652
维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。
AccessLog| 一款开源的日志分析系统
ClkLog的博客
07-26 499
系统采用Java语言、搭配OLAP数据库，涵盖基本web日志分析，同时提供性能分析，帮助高效运维
Kylin查询优化器深度解析：大数据查询性能的加速引擎
2401_85812053的博客
07-25 627
Apache Kylin是一个开源的分布式分析引擎，专为Hadoop和Spark平台上的大数据集提供快速的SQL查询能力。Kylin的核心优势之一是其强大的查询优化器，它能够智能地优化查询计划，显著提高查询性能。本文将深入探讨Kylin的查询优化器是如何工作的，并提供详细的解释和代码示例。Kylin的查询优化器是一个强大的组件，通过多阶段的优化流程和关键技术，显著提高了大数据集上的SQL查询性能。通过本文的学习，你应该能够理解Kylin查询优化器的工作原理，并能够应用这些知识来优化你的查询。
Hbase简介和快速入门
m0_37689903的博客
07-28 1085
本文首先简单介绍了Hbase的定义，逻辑结构，物理存储结构；然后详细的介绍了Hbase的安装；最后简单介绍了Hbase的shell命令操作
ELK 日志分析系统
zheshijiuyue的博客
07-25 1062
了解ELk日志分析系统；安装，配置Elasticsearch日志收集；安装和配置Kibana进行日志查看。
每天一个数据分析题（四百五十）- 数据清洗
shiguangre的博客
07-26 261
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！数据在真正被使用前需进行必要的清洗，使脏数据变为可用数据。下列不属于“脏数据”的是（）A. 重复数据。B. 错误数据。C. 交叉数据。D. 缺失数据。
Apache Flink入门指南：实时流处理详解
《Apache Flink入门指南》是一本由Data Artisans公司出品的专业小册子，由Ellen Friedman和Kostas Tzoumas撰写，旨在为读者提供对Apache Flink流处理技术的深入理解和实用指导。这本书适合快速学习者，特别是那些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值