![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 83
大数据小禅
致力于大数据与人工智能算法领域,数据科学硕士,华为认证云享专家,阿里云专家博主,大数据开发工程师,期待与你共同学习成长
展开
-
【Flink实战】新老用户方案优化使用状态与布隆过滤器的方式
布隆过滤器(Bloom Filter)是一种经过哈希函数处理的数据结构,用于快速判断一个元素是否可能存在于一个集合中。它可以用来检索大规模数据集中的元素,过滤掉不存在的元素,从而减少昂贵的磁盘或网络访问操作。布隆过滤器的核心思想是使用一个位数组(通常由二进制位组成)和多个哈希函数。当将元素添加到布隆过滤器时,通过哈希函数将元素映射到位数组的多个位置,并将这些位置的二进制位设置为1。原创 2023-09-13 18:03:39 · 1739 阅读 · 3 评论 -
【Flink实战】用户统计:按照省份维度统计新老用户
【Flink实战】用户统计:按照省份维度统计新老用户🚀 欢迎小伙伴们。原创 2023-09-13 17:50:58 · 1550 阅读 · 5 评论 -
【Flink实战】新老用户分析:按照操作系统维度进行新老用户的分析
新老用户分析:按照操作系统维度进行新老用户的分析🚀 欢迎小伙伴们。原创 2023-09-13 17:09:42 · 1434 阅读 · 0 评论 -
【Flink实战】Flink对接Kafka Connetor使用docker部署kafka
Docker 是一个开源的容器化平台,用于将应用程序和其依赖的环境打包成一个独立的容器,以实现应用程序的快速部署、可移植性和可伸缩性。0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置,可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离应用程序和其依赖的环境,使得应用程序能够在任意系统上以相同的方式运行,并且不受目标环境的影响。原创 2023-09-13 16:40:22 · 1887 阅读 · 0 评论 -
【Flink实战】Flink 商品销量统计-实战Bahir Connetor实战存储 数据到Redis6.X
Redis环境说明 redis6使用docker部署redis6.x 看个人主页docker相关文章编码实战数据源static {list.add("spring boot2.x课程");list.add("微服务SpringCloud课程");list.add("RabbitMQ消息队列");list.add("Kafka课程");list.add("小滴课堂面试专题第一季");list.add("Flink流式技术课程");list.add("工业级微服务项目大课训练营");原创 2023-09-13 16:29:10 · 1872 阅读 · 3 评论 -
【Flink实战】玩转Flink里面核心的Sink Operator实战
在Flink中,Sink Operator(也称为Sink Function或Sink)是指负责将DataStream或DataSet的数据发送到外部存储或外部系统的操作符。Sink Operator是Flink的数据输出端,它的作用是将处理过的数据写入目标位置,如数据库、文件系统、消息队列等。Sink Operator通过将数据传输到外部系统来完成最终的数据存储、展示或其他类型的处理。它可以将数据单个地或批量地发送到目标系统,具体取决于Sink操作符的实现。原创 2023-09-13 16:24:01 · 1717 阅读 · 1 评论 -
【Flink实战】Flink自定义的Source 数据源案例-并行度调整结合WebUI
Flink的并行度是指在Flink应用程序中并行执行任务的级别或程度。它决定了任务在Flink集群中的并发执行程度,即任务被划分成多少个并行的子任务。在Flink中,可以通过设置并行度来控制任务的并行执行。并行度是根据数据或计算的特性来确定的,可以根据任务的特点和所需的处理能力进行调优。将一个任务的并行度设置为N意味着将该任务分成N个并行的子任务,这些子任务可以在Flink集群的不同节点上同时执行。Flink会根据配置的并行度自动对任务进行数据切分和任务调度,以实现高效的并行处理。原创 2023-09-13 16:16:26 · 1644 阅读 · 0 评论 -
【Flink实战】玩转Flink里面核心的Source Operator实战
Flink的API层级 为流式/批式处理应用程序的开发提供了不同级别的抽象第一层是最底层的抽象为有状态实时流处理,抽象实现是 Process Function,用于底层处理第二层抽象是 Core APIs,许多应用程序不需要使用到上述最底层抽象的 API,而是使用 Core APIs 进行开发。原创 2023-09-13 15:08:59 · 1707 阅读 · 0 评论 -
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单
Flink的状态与容错是这个框架很核心的知识点。其中一致检查点也就是Checkpoints也是Flink故障恢复机制的核心,这篇文章将详细介绍Flink的状态管理和Checkpoints的概念以及在生产环境中的参数设置。什么是State状态?在使用Flink进行窗口聚合统计,排序等操作的时候,数据流的处理离不开状态管理是一个Operator的运行的状态/历史值,在内存中进行维护流程:一个算子的子任务接收输入流,获取对应的状态,计算新的结果,然后把结果更新到状态里面有状态和无状态介绍.原创 2021-10-30 17:47:41 · 4049 阅读 · 13 评论 -
Flink第一课!使用批处理,流处理,Socket的方式实现经典词频统计
Flink是什么Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。Flink的特点支持事件时间(event-time)和处理时间(processing-time)语义精确一次(exactly-once)的状态一致性保证低延迟,每秒处理数百万个事件,毫秒级延迟与众多常用存储系统的连接高可用,动态扩展,实现7*24小时全天候运行Flink的全球热度Flink可以实现的目标低延迟 来一次处理一次高吞吐结果的准确性和良好的容错.原创 2021-09-06 15:13:21 · 2129 阅读 · 4 评论