张小小凡

flink消费kafka限制消费速率

udf会被调用4次，如果udf是计算型的，后果很严重。接下来介绍一下解决的办法。

flink 1.12 配置滚动日志

flink checkpoitn和kafka offset commit的关系

在不停止flink任务的情况下，在外部通过配置，来达到修改flink输出特征逻辑的变化、新增和删除。

文章目录Table的转换DataStream转换成表创建临时视图输出connector输出到文件输出到kafka输出到ES输出到mysql更新模式追加模式（append mode）撤回模式（retract mode）Upsert（更新插入）模式时间特性处理时间在 DataStream 转化时直接指定在schema中指定在DDL语句中指定事件事件在 DataStream 转化时直接指定定义 Table Schema 时指定创建DDL时指定窗口分组窗口（Group Windows）over window（hiv

flink sql 中的rowtime 和proctime参考文章 https://blog.csdn.net/spring0666/article/details/116994928event time1.sql中创建CREATE TABLE tt_stream ( a VARCHAR, b VARCHAR, ts TIMESTAMP, WATERMARK wk1 FOR ts as withOffset (ts, 1000) --Watermark计算方法。) WITH ();

文章目录flink实时计算uv，并每天使用离线数据更正计算结果需求思考1.怎么在flink中判断是新用户？2.flink怎么获取离线数据的结果？3.kafka join hive的字段？4.使用常量字段join，后续处理？5.开窗口6.ds1 interval join ds27.后续处理8.夸一下自己代码flink实时计算uv，并每天使用离线数据更正计算结果需求数据一部分发到kafka实时计算，一部分存到hive离线计算。每天用hive计算的结果更正实时计算的结果。比如hive在2022-05-0

文章目录前言一、介绍二、先来看kudu java api认证kerberos1.首先需要进行kerberos的验证（需要将相应用户的keytab文件引入本地）2.依赖3.引入hadoop 配置文件4.获取客户端5.增删改查三、修改flink-kudu connector支持kerberos1.先从github 下载源码2.修改四、修改后的代码分享前言找了半天网上一点资料都没有，还是得靠自己。一、介绍flink官方并没有flink-kudu connector，可以用这个第三方的，地址如下https

hive数据迁移到clickhouse文章目录hive数据迁移到clickhouse1.使用命令导入2.使用waterdropkafka数据写入clickhouse1.使用命令导入#1.hive数据导出成csv格式hive -e "select id,name,age from xxx" | tr "\t" "," > /otp/data/test.csv#2.导入clickhouseclickhouse-client -h hadoop102 --query='INSERT INTO

drop table if exists lqh_test1;drop table if exists lqh_test2;drop table if exists lqh_test3;drop table if exists lqh_test4;create table lqh_test1(id string,a string);create table lqh_test2(id string,b string);create table lqh_test3(id string,c stri

加载udf和jar包%flink.confflink.udf.jars /etc/udf/myudf.jar(或者在hdfs上 hdfs:///tmp/udf/myudf.jar)flink.execuion.jars hdfs:///tmp/flinkjars (加载flink本身不带的jar包)在zeppelin中也可以写udf但是只能用scala写，上面这种方式 java和scala都可以，写完打包加载。查看udf%flink.ssql(type=update)show functio

文章目录需求尝试最终方案需求有如下结构的kafka数据源（json形式）需要计算f1.name=f0.name相等的个数。尝试create view f0_view asselect session_id, proc_time, namefrom gsy_ods,unnest(persons) as t(name, age);create view f1_view asselect session_id, proc_time, namefro

文章目录问题需求最终解决方案解释几种join的尝试1.regular join2.interval join3.temporal join4.look up join5.多维temporal join6.Lateral Table Join问题需求最近碰到一个需求，有如下表格这样一个kafka数据源，用flink sql实时enrich这个流，加上两个特征7天内同一申请人申请次数7天内作为担保人出现的次数event_id事件idapply_id申请人idconta

https://www.yuque.com/jeffzhangjianfeng/gldg8w

数据准备mysql数据CREATE DATABASE flink;USE flink;CREATE TABLE users ( user_id BIGINT, user_name VARCHAR(1000), region VARCHAR(1000));INSERT INTO users VALUES (1, 'Timo', 'Berlin'),(2, 'Tom', 'Beijing'),(3, 'Apple', 'Beijing');在sql client中创建表C

官网介绍https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/asyncio.html#async-io-api自己写的demoDataStream ds=... AsyncDataStream.unorderedWait( ds, new DimAsyncFun<ProductStats>("tablename

需求 用udf实现flink维表关联。 维表数据库用的是Cassandra，具有快速高并发写入的特点，把明细数据保存在数据库中。主流是接受kafka消息（本文中用的datagen）,根据自己的过滤条件（where xx=xxx）在udf中查询出一批数据，做聚合后把结果返回。 本文中udf的功能为，查询近5分钟的count 和sum。调用udf后主流就有了这两个属性。代码/** * 统计5分钟的 count sum */public class AggCassandraFunction e

1 默认standalone模式启动sql-client命令：bin/sql-client.sh embedded默认情况下，这个sql-client上面所跑的任务，会提交到flink的standalone集群上，如果你没有bin/start-cluster.sh启动standalon集群，那么sql-client进程可以启动起来，但是在实际执行sql的时候，会报如下连接拒绝的错误2 使用yarn-session模式yarn-session模式其实就是在yarn上生成一个standalone集群

当我们求今天当前时间交易额总量GVM的时候有两种写法：第一种不可以插入kafka(flink版本1.12之前不可以)第二种可以插入kafka-- 这样的sql是每来一条输出一次，形成的是回撤流，不断更新的select max(ts) as ts,sum(money) as gvmfrom jiaoyi group by dt;-- order 必须带有时间属性的字段，这样的sql形成的是append streamselectts,sum(money) over w as gvmfr

文章目录需求遇到的问题最终sql需求（source1 申请表 source2 结果表）要求输出4个字段：申请表当前的数量，结果表当前的数量，申请表近1小时的数量，结果表近1小时的数量，遇到的问题1.Rowtime attributes must not be in the input rows of a regular join. As a workaround you can cast the time attributes of input tables to TIMESTAMP b

问题解决Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job这是在sql-client中查询hive表遇到的问题，启动一下flink的Standlone集群即可。要把之前的启动的都关掉。从Kafka读数据写入hive，一直查不到数据？打开路径/user/hive/warehouse/flink.db/user_behavior_hive_tbl 发现好

flink配置看这篇文章的人肯定是有安装flink的，安装步骤不写了。flink版本：1.10.01. 在maven仓库中下载flink对应版本的flink-metrics-prometheus的jar包，放到flink的lib目录下 https://mvnrepository.com/artifact/org.apache.flink/flink-metrics-prometheus2. 修改flink-conf.yaml metrics.reporter.promgateway.clas

快速打包scala的flink代码，到服务器。使用bin/flink run -m yarn-cluster xxx.jar 运行wordcount代码import org.apache.flink.runtime.state.filesystem.FsStateBackendimport org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic}import org.apache.flink.streaming.ap

使flink支持将聚合结果写入kafka版本 flink 1.11.0报错信息kafkaSink' doesn't support consuming update changes which is produced by node xxxxxxxxxxxxxxx更改办法1. 在源码中找到这个类 JsonFormatFactory2. 更改源码 @Override public ChangelogMode getChangelogMode() { return Chang

问题描述:interval join 10分钟窗口和20分钟窗口数据相同需求：一条消费数据流，主要字段card_num 和amount需要输出：card_num,10分钟内消费的总金额，20分钟内消费的总金额不同窗口得到的结果是一样的，自会按照一种窗口的大小计算。解决方法：10分钟一个窗口输出到kafka_table_120分钟一个窗口输出到kafka_table_2然后kafka_table_1再和kafka_table_2 interval join下面是一个模板.

利用datagen connector生成数据利用print connector把结果打印在控制台，方便查看结果测试package com.otis.scala.testimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.environment.StreamExecutionEnvironmentimport org.apache.flink.table.a

使用Flink SQL Gateway+Flink JDBC Driver实现更方便的提交flink任务，获取想要的结果。具体文档如下，跟着readme操作就行，很简单。目前只支持flink1.10https://github.com/ververica/flink-sql-gatewayhttps://github.com/ververica/flink-jdbc-driver官方还提供了一个sql的测试工具flink-sql-benchmarkhttps://github.com/verver

简介application模式是为每个job生成一个集群，集群随着job执行完会销毁。不同点：per-job模式和session模式都是由client执行main方法，下载需要的依赖然后生成JobGraph。随着提交任务增多，client节点下载依赖所需的带宽和生成JobGraph 产生的cpu消耗会成为整个集群提交任务的瓶颈。application模式的这个过程是在JobManager上进行的，分散到了不同的节点。使用范围这种部署方式时在flink 1.11.0开始出现的。目前仅支持yarn和

服务器部署jar时报错Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function.at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:291) ~[app-test.jar:?]at org.apache.flin

先看这个文章https://ververica.cn/developers/hive-flink/我先是按照这个文章连接hive，启动sql-client时各种报错解决sql-clienr启动时报错。报错信息拉倒最下面class not found xxx，在hive_home/lib下找相对应的jar包，xxxjar包，复制到flink_home/lib下就可以解决。一个一个拷贝，拷贝一次启动一次，出现相同的错误继续拷贝。最后启动成功。吐槽我之前只是用的streaming api，感觉Fli

Flink1.11编译注意编译一定要用root用户编译，否则会出现各种乱七八糟的错误。我就是因为没用root差点精神崩溃，浪费好长时间。版本版本：flink-release-1.11.0-rc4hadoop.version=2.6.0-cdh5.15.1从pom文件中可以看出需要预先编译flink-shaded 11版本<flink.shaded.version>11.0</flink.shaded.version>首先编译flink-shaded1. git

版本信息flink1.10从官网下载kafka-connector支持的包和json的包https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html在client中注册用于输出的表或者在ymal文件中注册表CREATE TABLE sink-hehe (id STRING,name STRING,age INT,home STRING) WITH (‘connector.type

自己做Metric监控Task Metrics点击右上角可以添加多个指标，我目前认为通过查看这几个指标可以大概知道任务的运行情况。checkpoint摘要里有cp的一些平均最大最小信息可以看到在代码中配置的cp的信息back pressure如果出现反压，ok会变为HIGH二级标题三级标题四级标题五级标题六级标题一些知识点...

定义了一个窗口，但是要求每来两条消息触发一次计算 .keyBy(_.id) .timeWindow(Time.days(1)) .trigger(new TTrigger) .sum(1) .process(new BankProcess) .print()=============================自定义Trigger========================================= class T

Flink运行时组件JobManager控制一个应用程序的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。在session模式，只有一个jobmanagerJobManager会把jobGraph转换成一个物理层面的数据流图，叫做ExecutionGraph（有并行度的执行图），包含了所有可以并发执行的任务。JobManager会向资源管理器RM请求执行任务所需的资源，也就是slot。一旦获取到了足够的资源，就会将执行图分发到真正运行他们的TM上。在运行过程中JM

等待迟到元素不关闭窗口.timeWindow(Time.minutes(1), Time.seconds(10)).allowedLateness(Time.minutes(5))自定义trigger触发 .timeWindow(Time.minutes(1), Time.seconds(10)) .trigger(new MyTrigger)一级标题二级标题三级标题四级标题五级标题六级标题...

先介绍一下集中主流的数仓架构- lambda缺点：有离线和实时两套代码，运维和开发成本高。对资源的占用高。- kappa缺点：业务变更时，需要重新编写代码。并且保证消息队列中的消息存放一定的时间。新启动一个任务，从某个历史时间消费消息队列中的数据，直到新任务消费消息的偏移量和旧任务消费齐平的时候。就可以停掉旧任务。旧任务产生的结果表就可以删除。- 实时OLAP变体他和kappa架构不同的是，只需要用flink做轻度的聚合，使用OLAP引擎来应对各种业务需求。三种架构的对比持续更新。