![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时计算
文章平均质量分 92
000X000
这个作者很懒,什么都没留下…
展开
-
2023,你了解Kafka吗?深入详解
深入详解Kafka原创 2023-04-28 09:30:28 · 954 阅读 · 0 评论 -
Flink实战之实时风控规则引擎
Flink实战之实时风控规则引擎原创 2022-06-20 17:17:45 · 4547 阅读 · 3 评论 -
数据治理体系化思考与实践
数据治理体系化思考与实践原创 2022-06-13 11:27:21 · 1043 阅读 · 0 评论 -
Flink checkpoint机制详解
Flink checkpoint机制详解原创 2022-06-09 09:03:07 · 4338 阅读 · 2 评论 -
时序图数仓AbutionGraph场景应用
时序图数仓AbutionGraph场景应用原创 2022-05-28 16:00:08 · 270 阅读 · 0 评论 -
Flink 状态管理详解(超全收藏)
Flink 状态管理详解(超全收藏)原创 2022-05-16 09:26:15 · 3687 阅读 · 3 评论 -
Spark&Flink的区别总结
Flink是标准的实时处理引擎,而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的,不过现在Spark Streaming已经非常稳定基本都没有更新了,然后重点移到spark sql和structured Streaming了。维表join和异步IOStructured Streaming不直接支持与维表的join操作,但是可以使用map、flatmap及udf等来实现该功能,所有的这些都是同步算子,不支持异步IO操作。但是Struct原创 2021-08-25 15:20:35 · 630 阅读 · 0 评论 -
Flink SQL中时态表
前言Flink 1.12正式发布后,带来了很多新的特性,本文重点学习和总结一下Flink 1.11和 Flink1.12中时态表的使用和自己的一个小总结,文章如有问题,请大家留言交流讨论,我会及时改正。本文主要将在Flink1.12中新的时态表的一些新的概念和注意事项,如何在Join中使用会在之后另一个篇文章中具体讨论。Flink中的时态表的设计初衷首先,大家需要明确一个概念,就是传统SQL中表一般表示的都是有界的数据,而直接套用于流计算这样源源不断的数据上是存在问题的,所以在Flink S原创 2021-03-23 09:45:58 · 1811 阅读 · 1 评论 -
Flink SQL 1.11新功能详解:Hive 数仓实时化 & Flink SQL + CDC 实践
问题导读1.Flink 1.11 有哪些新功能?2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更?3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中?1 Flink 1.8 ~ 1.11 社区发展趋势回顾自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并在同年 4 月发布 Flink 1.8 版本后,Flink 在社区的活跃程度犹如坐上小火箭般上升,每个版本包含的.原创 2020-09-21 14:27:09 · 4095 阅读 · 0 评论 -
实时数仓建设项目概述
数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。1. 数据仓库简介数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)...原创 2019-12-17 15:59:55 · 735 阅读 · 0 评论 -
Apache Flink 连接并使用 Hive
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能,用户可以通过 Flink 来访问 Hive 的元数据,以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。Flink onHive 介绍SQL 是大数据领域中的重要应用场景,为了完善 Flink 的生态,发掘 Flink 在批处理方面的潜力,我们决定增强 Flin...原创 2019-12-17 15:48:08 · 872 阅读 · 0 评论 -
Apache Flink Flink Time & Window 解析
一、Window & Time 介绍Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。下面的代码是在 Flink 中使...原创 2019-12-17 15:44:50 · 104 阅读 · 0 评论 -
Apache Flink DataStream API 编程
1. 流处理基本概念对于什么是流处理,从不同的角度有不同的定义。其实流处理与批处理这两个概念是对立统一的,它们的关系有点类似于对于 Java 中的 ArrayList 中的元素,是直接看作一个有限数据集并用下标去访问,还是用迭代器去访问。图1. 左图硬币分类器。硬币分类器也可以看作一个流处理系统,用于硬币分类的各部分组件提前串联在一起,硬币不断进入系统,并最终被输出到不同的队列中供后续...原创 2019-12-17 11:36:39 · 106 阅读 · 0 评论 -
Apache Flink 开发环境搭建和应用的配置、部署及运行
一、Flink开发环境部署和配置Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 GitHub 上,并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说,Java、Maven 和 Git 这三个工具是必不可少的,另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限,我们不会详述每个工具的安装...原创 2019-12-17 11:27:25 · 776 阅读 · 0 评论 -
Apache Flink 基础概念解析
一、Apache Flink的定义、架构及原理Apache Flink是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。1. Flink Application了解Flink应用开发需要先理解Flink的Streams、State、Time等基础处理语义以及Flink兼顾灵活性和方便性的...原创 2019-12-17 10:45:36 · 197 阅读 · 1 评论 -
Apache Flink SQL概览
Apache Flink SQL Job的组成我们做任何数据计算都离不开读取原始数据,计算逻辑和写入计算结果数据三部分,当然基于Apache Flink SQL编写的计算Job也离不开这个三部分,如下所所示:如上所示,一个完整的Apache Flink SQL Job 由如下三部分:·Source Operator – Soruce operator是对外部数据源的抽象, 目前A...原创 2019-12-17 10:12:25 · 544 阅读 · 0 评论 -
流计算框架 Flink 与 Storm 的性能对比
概述: 将分布式实时计算框架 Flink 与 Storm 进行性能对比,为实时计算平台和业务提供数据参考。一. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的可靠性保证测试),有管理平台、常用 API 和相应的文...原创 2019-12-17 10:09:22 · 127 阅读 · 0 评论 -
Flink实时计算性能分析
本文从数据传输和数据可靠性的角度出发,对比测试了Storm与Flink在流处理上的性能,并对测试结果进行分析,给出在使用Flink时提高性能的建议。Apache Storm、Apache Spark和Apache Flink都是开源社区中非常活跃的分布式计算平台,在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说,Storm与Flink的底层计算引擎是基于流的,本质上是一条一条的数...原创 2019-12-17 10:00:15 · 355 阅读 · 0 评论