lihengzkj的博客

Flink批流合一的介绍概况DataStream API支持不同的运行时执行模式，我们可以根据实际的需求和任务的特征来选择这些模式。STREAMING执行模式是DataStream API的“经典”执行行为，应该用于需要持续增量处理并预期无限期在线的无限作业。此外，还有一种批处理风格的执行模式，我们称之为 BATCH执行模式。 它以一种像批处理框架(如MapReduce)的方式执行作业。 这应用于已知有限的数据源输入并且不会连续运行的有界作业。Flink对流和批处理的统一方法意味着在有界输入上执行

Flink1.13发布新特性概要这个版本是一些永久性的更新，帮助用户更好理解Flink程序的性能。当我们的流处理的速度并不是我们希望看到的性能的时候，这些新特性能帮助我们找到原因：数据加载和背压图能帮助定位性能瓶颈所在, CPU火焰图可以定位哪些代码是程序中的热点代码，State Access Latencies可以查看状态的保存情况除了上述的特征，Flink社区还改进了系统的许多地方，其中有一些会在下面展示。主要功能点响应式伸缩响应式伸缩是Flink的最新功能，它使流处理应用程序和其他应用程序

Flink-1.13DataSteam编程概述Flink中常规的编程就是DataStream的不同转换(e.g. 过滤，更新状态，定义时间窗口，聚合)。数据流可以从不同的源创建(e.g. 消息队列，websocket,文件等)。结果可以通过多种渠道返回，可以写入文件，可以输出到不同的终端。Flink程序可以在多种上下文中运行，或者嵌入到其他的程序中运行。可以跑在本地的虚拟机上，也可以是在集群中。Flink编程的常规步骤获取一个执行环境加载或者创建初始的数据指定对数据做处理的函数e.g. man

使用Docker配置Flink1.12开发测试环境简单介绍Docker现在是开发界必不可少的工具，我们使用docker能够快速将自己的应用进行测试和打包。同时利用容器我们在软件开发中很容就实现了CI和CD的部署配置。当前Flink的官方的基础镜像都可以从docker hub中下载。不过docker hub在前一段时间对游客进行了限速，所以当你遇到下载速度很慢的时候请先使用docker login登录以后再使用docker pull来拉取镜像文件。使用Docker的镜像我们可以构建Session模式或

Flink1.12.3部署介绍FLink架构和组件介绍下面我们来介绍Flin集群的架构角色。Flink集群的初始角色是Flink的客户端client，client持有我们编写的代码，并会将代码翻译成JobGraph并提交给JobManagerJobManager分发任务给各个TaskManager，TaskManager是实际跑任务处理数据的地方，比如从source拉去数据，做MR操作，最后输出都是在TaskManager的工作任务中。当我们需要部署一个Flink集群时，有多个模式可选。我们首先来

Gradle7.0 构建Flinkinstall gradledownload gradle解压到某个文件夹，并配置好环境变量GRADLE_HOME=/path/to/gradle/bin,并追加到系统变量path后面注意本地安装的JDK版本大于1.8执行gradle -version使用gradle初始化项目首先打开命令窗口，cd到指定位置，创建你的项目的根目录名称: e.g. md showdemo执行：gradle initSelect ty

Flink 1.12.2 主要配置文件详解本地启动集群的测试下载Flink1.12.2， 并解压配置好JAVA_HOME的机器上，到路径~/flink/bin本地启动：start-cluster.sh, 默认加载 ~/flink/conf/flink/flink-conf.yaml停止: stop-cluster.shflink-conf.yaml详解# Jobmanager的地址，taskmanager必须要识别并能连上。# 只有standalone的集群模式起作用，当执行bin/jo

Flink练习第一个欺诈实例(带时间范围)背景介绍上一个实例我们的核心计算逻辑是检测到同一账户上一个消费小于1元，下一个消费大于100元就定性为有欺诈嫌疑，作为初学者的练习已经领略了Flink状态的威力。本次的实例逻辑将加上时间的监控，我们把欺诈的规则略微做修改。如果同一个账户，在五分钟以内出现两笔交易，一笔小于1元，一笔大于100元，那么我们就人为这个账户有可能存在欺诈的嫌疑，那么就需要生成一条告警信息。Flink的状态管理有状态的流处理是FLink官方给出的最优代表性的特征What i

Flink练习第一个欺诈实例背景Flink官方提供是一个欺诈检测的例子，我们也从这个例子入手。首先需要有一个输入的源，我们会自定义一个缓慢的输入源来放我们的数据，然后进行检测，最后输出。数据的长相这里我们把数据源放入一个csv的文件中,列明分别是[流水id, 用户id , 交易金额， 交易时间]，把下面的数据放入data.csv文件中，把csv文件放入src/main/resources包中。1001, a001, 0.5, 16166232582731002, b001, 0.5, 161

从0到1的Flink1.12.2本地开发环境构建[eclipse篇]Java 环境准备下载openjdk11准备java环境，由于oracel jdk8xx开始收费，我们选用openjdk的环境. Download OpenJDK11Maven 环境准备下载稳定版的maven： Download Maven解压后修改文件./conf/settings.xml，加入阿里云的镜像库配置到mirrors节点 <mirror> <id>nexus-aliyu