![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
槐序i
这个作者很懒,什么都没留下…
展开
-
【测试】FlinkSQL 读取 kafka数据的模式测试
原创 2021-12-02 14:05:00 · 1536 阅读 · 0 评论 -
【记录】flink提交offset给kafka的三种模式
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyright ownership. * The ASF licenses this file to You un原创 2021-08-09 15:55:12 · 1386 阅读 · 0 评论 -
【实战】Flink实时同步mysqlbinlog批量写数据到kudu
package risen.sourceimport java.utilimport java.util.Propertiesimport com.google.gson.JsonObjectimport com.google.gson.JsonParserimport org.apache.flink.api.common.functions.MapFunctionimport org.apache.flink.api.common.serialization.SimpleStringSch原创 2021-07-16 14:13:11 · 949 阅读 · 0 评论 -
【实战】Flink实现统计每个小时的各类日志条数
Flink实现从当日0点到现在的各类日志条数,且每小时生成一条统计值import java.text.SimpleDateFormatimport java.util.{Date, Properties}import org.apache.flink.api.scala._import com.google.gson.{JsonObject, JsonParser}import com.iflytekzunhong.util.RedisPoolUtilimport org.apache.flin原创 2020-08-28 11:42:15 · 5070 阅读 · 1 评论 -
【记录】FlinkSql读写kudu 编译测试全流程 附带编译包下载
写在前边:kudu性能就不多介绍了,是目前比较主流的数据库,但是可惜的是FLINKSQL居然不支持读写kudu,奇了怪。没办法,为了能写入只能自己动手了。经过查找发现有大佬已经开源过了,那么我们就在这个基础上进行就好了一、软件版本以下是我使用的版本。大家可以作为参考,然后根据自己的实际情况进行更改即可CDH6.3.2kudu 1.10.0-cdh6.3.2Flink 1.12.2二、前期准备1、下载源码git clone git://github.com/apache/bahir-fli原创 2021-07-08 16:05:43 · 1677 阅读 · 8 评论 -
【记录】FlinkX1.12编译部署及测试
写在前边:今天袋鼠云更新了FlinkX1.12,从之前的1.10版本迭代到现在的1.12。现在要重新编译部署一下。这里记录一下操作流程,同时记录下常见的错误,便于以后查阅使用一、软件版本FlinkX 1.12Flink 1.12.4二、前期准备下载FlinkXgit clone https://github.com/DTStack/flinkx.git增加flinkx/pom.xml中的下载源,不然会非常慢 <repository> <id&g原创 2021-07-01 18:09:35 · 1530 阅读 · 14 评论 -
【记录】flink更换版本之后启动报错
flink启动[ERROR - main-EventThread] (ConnectionState.java:307) Authentication failed解决方案删除zookeeper中的flink目录下所有东西原创 2021-06-28 15:47:48 · 1111 阅读 · 1 评论 -
【记录】docker部署flink1.10并安装FlinkX
本文分为两步:1、docker安装部署Flink1.102、基于flink1.10安装FlinkX一、docker安装Flink1.10首先通过docker安装Flink1.10创建文件docker-compose.ymlvim docker-compose.yml将以下内容复制到文件中,#后的为注释,删掉version: "2.1"services: jobmanager: image: flink:1.10.0-scala_2.11 expose: -原创 2021-06-17 10:34:02 · 858 阅读 · 0 评论 -
【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表
目的:实时同步mysql的数据,之前是通过flink-cdc实现,但是flink-cdc需要编写代码,维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行,操作简单便于维护一、前期准备软件版本mysql 5.7.30kafka 2.2.1-cdh6.3.2Flink 12.2.2Debezium连接器debezium 1.5.0相关介绍Debezium是一个开源项目,为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安原创 2021-05-27 17:32:18 · 1727 阅读 · 0 评论 -
【调研】FlinkSql功能测试及实战演练
FlinkSql功能测试及实战演练前言:Flink在国内的占有率逐步提升的情况下,各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求,尝试研究flinksql的特性与功能,作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Impala三个组件上,同时将结合官方文档进行:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/1 前期准备1.1 环原创 2021-05-12 17:39:24 · 1347 阅读 · 4 评论 -
【测试】FlinkSql映射kafka数据成表
FlinkSql环境配置及测试文档测试flinksql功能,并尝试将目前的需求通过简单demo的方式实现一、流程设计1、确定数据格式姓名,年龄,是否学生,操作类型,操作时间name,age,isStu,opt,optDate2、准备初始数据zhangsan,18,1,insertzhangsan,20,2,updatelisi,29,1,insertwangwu,29,2,insert3、新增数据,同时监测flink数据是否有变化zhangsan,18,1,insert二、k原创 2021-05-11 11:35:20 · 1403 阅读 · 6 评论 -
【测试】关于kafka数据被删除后,flinksql表数据是否会被删除问题的测试
FlinkSql与Kafka的Topic策略测试记录关于kafka数据被删除后,flinksql表数据是否会被删除问题的测试kafka中topic级别配置清单Property(属性)Default(默认值)Server Default Property(server.properties)说明(解释)cleanup.policydeletelog.cleanup.policy日志清理策略选择有:delete和compact主要针对过期数据的处理,或是日志文件达到限制的额度原创 2021-05-11 11:34:14 · 880 阅读 · 0 评论 -
【记录】CDH6集成Flink1.12,添加服务后启动时报错的处理方法,亲测可用
CDH6集成Flink1.12在安装部署过程中,添加服务之后,没办法启动集群已经不再需要flink-shaded-hadoop-2-uber-2.7.5-10.0.jar这种包了flink启动报错Error: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoo原创 2021-04-16 16:55:08 · 1291 阅读 · 2 评论 -
【记录】Flink读取hive编译报错:Static methods in interface require -target:jvm-1.8
Flink编译报错Static methods in interface require -target:jvm-1.8在如下图处添加 -target:jvm-1.8 即可原创 2020-12-16 09:52:09 · 166 阅读 · 0 评论 -
【记录】flink读取hive,只能读取表结构,无法读取数据
2020-11-26 10:31:31,611 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command:$ echo “stop” | ./bin/yarn-sessi原创 2020-11-26 10:55:25 · 1904 阅读 · 7 评论