xinji

flink通过调整默认行为以及控制作业链与作业分配（处理槽共享组）来提高应用的性能

代码块 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); DataStreamSource<PageVisit> input = env.fromElements( new P

flink hive on hudi 手动创建表文档 : https://www.yuque.com/docs/share/879349ce-7de4-4284-9126-9c2a3c93a91d?#%20%E3%80%8AHive%20On%20Hudi%E3%80%8B在 /data/app/hive/auxlib 目录放入hudi jar–>hudi-hadoop-mr-bundle-0.10.0.jar或者 修改配置项 hive-site.xmlhive.default.aux.j

官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/datastream/operators/windows/1、什么是WindowFlink 底层引擎是一个流式引擎,认为 Batch 是 Streaming 的一个特例，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Window窗口就在一个无界流中设置起始位置和终止位置，让无界流变成有

在上一章节中,我简单介绍了State 的读取操作Flink小知识–State Processor API的简单讲解(1) State的读取本章节将重点简述下 state 的写以及修改,主要以 Keyed State为例https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/libs/state_processor_api/1. Writing New Savepoints基于上一期的key state 案例,本期生成的st

value_count: 计数cardinality: 去重计数avg: 平均值sum: 求和max: 最大值min: 最小值percentiles: 百分比top_hits： 简单来说就是聚合分组后从每一个组取部分数据作为结果返回统计去重 cardinality## 对时间范围内sn 考勤的人员 身份证去重GET /hw-attendance-aliases/_search{ "query": { "bool": { "must": [

本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于Flink的东西以来，“状态”这个词被提过不下百次，却从来没有统一的定义。Flink官方博客中给出的一种定义如下： When it comes to stateful stream processing, state comprises of the information that an application or stre.

环境准备1. hadoop 集群的开启,hive metastore 服务开启2. flink-conf.yaml, sql-client-defaults.yaml 配置 注意: 必须开启checkpoint ,flink 才可提交分区操作3. flink 集群的开启 启动：yarn-session.sh -n 3 -s 3 -nm flink-session -d 关闭：yarn application -kill applicationId4. KafKa集群开启.

本文根据 Apache Flink 系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给计划使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分：Flink CEP 概念以及使用场景。如何使用 Flink CEP。如何扩展 Flink CEP。Flink CEP 概念以及使用场景1.什么是 CEPCEP 的意思是复杂事件处理，例如：起床–>洗漱–>吃饭–>上班等一系列串

flink 失败重启策略,可通过flink-conf.yaml 配置 https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/config.html或在代码中添加:如下 //重启最大次数3 次,每次间隔10s// env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3,10000)) //5分钟内重启最大次数10次,每次间隔5s e.

作者 | 张俊整理 | 张友亮（Apache Flink 社区志愿者）本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下：网络流控的概念与背景TCP的流控机制Flink TCP-based 反压机制（before V1.5）Flink Credit-based 反压机制 （since V1.5）总结与思考网络流控的概念与背景为什么需要网络流控&nbs

简述flink metric用来对外暴露系统内部的一些运行指标，比如flink框架运行时的JVM相关配置，或者基于flink开发的项目。flink提供了Counter, Gauge, Histogram and Meter四种类型的指标。我们通过继承RichFunction拿到MetricGroup，并向其中填充指标。今天主要讲的是使用Prometheus+PushGateway+Grafana...

java.lang.NumberFormatException: Not a version: 9SCALA对应的版本不一致导致, flink1.9.1对应scala2.11.82. java.lang.ClassNotFoundException: org.apache.flink.api.scala.typeutils.CaseClassTypeInfo原因 jar引入错误...

官网编译指导:https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html#pre-bundled-versions下载源码地址:https://flink.apache.org/downloads.html#apache-flink-191编译环境的准备:In addition yo...