![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
wudl5566
这个作者很懒,什么都没留下…
展开
-
flink cdc 整合 数据湖hudi 同步 hive
1. 版本说明组件版本hudi10.0flink13.5hive3.1.02. 实现效果 通过flink cdc 整合 hudi 到hiveflink cdc 讲解flink cdc 1.2实例flink cdc 2.0 实例原创 2022-02-18 00:44:00 · 5522 阅读 · 5 评论 -
flink问题 集合
flink 问题集合原创 2023-10-22 14:10:11 · 291 阅读 · 0 评论 -
pyflink 环境测试以及测试案例
* 7.1. conda命令及pip命令**conda install 包名 pip install 包名conda uninstall 包名 pip uninstall 包名conda install -U 包名 pip install -U 包名7.2 Anaconda设置为国内下载镜像7.3 conda创建虚拟环境conda create py_env python=3.8.8 #创建python3.8.8环境activate py_env #激活环境。原创 2023-10-19 16:59:22 · 1035 阅读 · 0 评论 -
flink sql热加载自定义函数 不重启flink集群
第三步: 进入flink 客户端 ./sql-client.sh embeded。第二步打包后 放到一个位置比如:flink/lib 中。第四步: 进行进入当前的catalog 中。第五步: 在客户端中执行。第一步 先写好udf 函数。原创 2023-09-11 20:57:40 · 314 阅读 · 0 评论 -
flink客户端提交任务报错
【代码】flink客户端提交任务报错。原创 2023-06-07 23:36:05 · 2337 阅读 · 1 评论 -
Flink sql 创建 视图-view
例子不是很恰当主要是 我们在创建数仓表时,通过先将一个函数的结果集放到一个视图中, 在通过一个函数 将上一个视图 结果放入到视图中 然后在通过视图 的结果放入到 数仓新表中。比如 对一张表中的一列进行函数的结果放入到一个视图中 在对视图进行一个函数 结果集放入到视图中,最终将视图中的结果放入到表中。原创 2022-12-10 00:43:09 · 2757 阅读 · 0 评论 -
flink sql自定义函数 多个参数调用http接口 并且实时调用
使用通过flink sql 自动定义函数(udf)将实时接入的数据输出到 http 接口当中原创 2023-04-05 17:03:59 · 1746 阅读 · 1 评论 -
FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql
FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql原创 2022-10-13 00:52:37 · 1952 阅读 · 2 评论 -
flink 13.5 自定义connect之clickhouse
在resources下面新建 META-INF/services 然后新建一个 org.apache.flink.table.factories.Factory 文件里面指定到com.wudl.ck.table.ClickHouseDynamicTableFactory 动态表工厂。从clickhouse 数据同步到 mysql。cast(属性 as 类型) ,进行类型转换。原创 2022-09-07 17:44:51 · 1324 阅读 · 0 评论 -
Flink sql 自定义Connector
Metadata(元数据)、Planning(规划),Runtime(运行时提供者)三个部分的内容。原创 2022-09-07 11:56:40 · 817 阅读 · 0 评论 -
flink 13.5 sink elasticsearch-7
flink 数据-- flink sql -->es。原创 2022-09-06 17:32:27 · 1075 阅读 · 1 评论 -
Flink sql - 内置函数
flink sql 内置函数原创 2022-09-06 00:26:12 · 2421 阅读 · 0 评论 -
flink sql -mysql cdc 到hudi表在输出到kafka中
flink sql -mysql cdc 到hudi表在输出到kafka中。原创 2022-09-05 19:24:20 · 999 阅读 · 0 评论 -
Flink sql 实现 -connection-clickhouse的 source和 sink
flink13.1 操作clickhouse 所需要的jar 包 以及自定义flink 连接clickhouse 的驱动包原创 2022-08-28 23:44:15 · 3068 阅读 · 3 评论 -
Flink总结学习笔记之一
1.Flink 的知识点总结:2.Flink 的简单简介:2009年诞生。2014年一跃成为Apache 软件基金会的顶级项目.2019年被阿里收购成为中国人主导的项目,可以适合中国国内的发展。Flink 的使用场景。用官网的图说明2.1 Flink 的简单场景:3.Flink 的特性。1.高吞吐和低延迟。每秒处理数百万个事件,毫秒级延迟 。2.结果的精准一次性。3.高可用。4.可以链接常用的存储。5.更新应用程序作业迁移到不同的flink 集群。4.Flink 架原创 2022-05-19 00:55:24 · 403 阅读 · 0 评论 -
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图, 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表,关联Hudi表,并且自动同步到Hive表4.查询视图数据,插入到输出表 -- flink 后台实时执行2.3pom 文件需要的类<?xml version="1.0" encoding="UTF原创 2022-02-20 22:08:00 · 7963 阅读 · 0 评论 -
flink13.5整合hudi10
1. 版本组件版本hudi10.0flink13.52.hudi 源码下载https://github.com/apache/hudi/releases2.1 需要改flink 版本为13.5根目录下面的pom 文件<flink.version>1.13.5</flink.version><hive.version>3.1.0</hive.version><hadoop.version>3.1.原创 2022-02-07 00:19:42 · 1873 阅读 · 0 评论 -
flink kakfa 数据读写到hudi
flink kafka hudi组件版本hudi10.0flink13.51.2.flink lib 需要的jar 包hudi-flink-bundle_2.12-0.10.0.jarflink-sql-connector-kafka_2.12-1.13.5.jarflink-shaded-hadoop-2-uber-2.8.3-10.0.jar下面是所有的jar 包-rw-r--r-- 1 root root 7802399 1月 1 08:27 dor原创 2022-02-13 21:46:40 · 2165 阅读 · 2 评论 -
通过flink 插入数据Stream_load 方式
1. 场景:通过模拟数据 发送kafa —> flink 接收到kakfa 数据–> 然后通过flink 进行 streamLoad 插入数据到doris 中;2. 建表语句 CREATE TABLE `wudl_doris01` ( `id` int NULL COMMENT "", `name` varchar(200) NULL COMMENT "", `address` string NULL COMMENT "", `city` varchar(2原创 2022-01-04 00:13:39 · 1960 阅读 · 0 评论 -
Flink将数据写入到hdfs中
1. 场景随机产生数据然后将产生的数据写入到hdfs 中。2. 随机数据源代码:package com.wudl.flink.hdfs.source;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple4;import org.apache.flink.streaming.api.functions.source.SourceFunction;import jav原创 2021-12-27 01:02:13 · 8169 阅读 · 11 评论 -
Flink通过将sql 讲 hbase 的数据导入到Mysql中
1. 场景, 将hbase 表中的数据导入到mysql 中·官网参考·https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.htmlhttps://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/connectors/hbase.html2. 需要添加的pom 文件<?xml version="1.0原创 2021-12-15 00:34:06 · 712 阅读 · 0 评论 -
Flink 获取kafka数据 批量sinkHbase
1. 处理流程: 通过flink 从kafka 中获取到数据, 然后在sink 到hbase 中数据结构{"address":"深圳","age":20,"createTime":"2021-12-08 22:30","id":1,"name":"hdfs"}2.Hbase 建表hbase(main):002:0> create 'wudluser','cf', { NUMREGIONS => 15, SPLITALGO =>'HexStringSplit'}Created原创 2021-12-09 01:02:27 · 1979 阅读 · 3 评论 -
Flink --广播流BroadcastState 的应用
package com.wudl.flink.action;import org.apache.flink.api.common.state.BroadcastState;import org.apache.flink.api.common.state.MapStateDescriptor;import org.apache.flink.api.common.state.ReadOnlyBroadcastState;import org.apache.flink.api.common.typein原创 2021-12-07 01:11:16 · 296 阅读 · 1 评论 -
Flink侧输入流应用 kafka --> ODS-->DWD
1.Flink侧输入流–> ODS–>DWD场景:Flink 接收kakfa 信息 通过 侧输入流--> ODS-->DWD代码:主类:package com.wudl.flink.app.dwd;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import com.wudl.flink.uti原创 2021-11-28 22:26:12 · 1612 阅读 · 0 评论 -
Flink 的侧输出 和一个流拆分成多个流
1. Flink 侧输出流官网 :https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/side_output/1.1 理解 侧输出流就是将问题数据或者 不符合条件的数据进行输出到数据库中或者打印出来, 就形成一个正确的流和一个不符合条件的流。1.2 实例 案例: 判断 输入的字符串是否等于 "big" 如果等于big 就输入到 主输出流 否则将抛出异常package com原创 2021-11-28 20:34:36 · 4215 阅读 · 0 评论 -
Flink cdc2.0
1.Flink cdc 概念 CDC 的全称是 Change Data Capture ,在广义的概念上,只要能捕获数据变更的技术,我们都可以称为 CDC 。通常我们说的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。2.应用场景1. 数据同步,用于备份,容灾2. 数据分发,一个数据源分发给多个下游3. 数据采集(E),面向数据仓库/数据湖的 ETL 数据集成3.cdc 技术目前业界主流的实现机制的可以分为两种:1.基于查询的 CDC a.原创 2021-10-02 20:50:17 · 1230 阅读 · 0 评论 -
Flink cdc 1.2 的 Stream操作
0. cdc 开源的地址·https://github.com/ververica/flink-cdc-connectors1. 场景1. 对数据库下面的表发生变化的时候进行讲sql 语句打印出来进行其他的操作2.条件 配置mysql[root@basenode ~]# vi /etc/my.cnf# For advice on how to change settings please see# http://dev.mysql.com/doc/refman/5.7/en/server原创 2021-09-29 00:11:03 · 476 阅读 · 0 评论 -
Flink cdc1.2同步mysql--代码实现
1.场景两张mysql 的表通过cdc 进行同步2. 准备条件Flink 1.12.4Mysql 5.7CDC 1.23.pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema原创 2021-09-28 23:29:42 · 288 阅读 · 0 评论 -
Flink cdc同步mysql
1.场景两张mysql 的表通过cdc 进行同步2. 准备条件Flink 1.12.4Mysql 5.7CDC 1.23 依赖[root@basenode lib]# ll总用量 350476-rw-r--r-- 1 root root 661717 9月 25 21:01 fastjson-1.2.78.jar-rw-r--r-- 1 root root 194725 9月 25 20:18 flink-connector-jdbc_2.11-1.12.4.jar原创 2021-09-25 23:35:44 · 1029 阅读 · 0 评论 -
Flink --通过讲mysql数据插入到iceberg
1. 创建表 CREATE CATALOG hadoop_catalog WITH ( 'type'='iceberg', 'catalog-type'='hadoop', 'warehouse'='hdfs://node01.com:8020/flink/warehouse/', 'property-version'='1');2.创建分区表-- 创建分区表create table iceberg_db.testA(id bigint,name string,age int,原创 2021-09-25 01:14:17 · 448 阅读 · 0 评论 -
Flink -sql -Mysql同步到ElasticSearch
1. 通过Flink Sql 将mysql 的数据同步到ElasticSearch 中套路官网示例:官网地址:https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/elasticsearch.html#document-typeCREATE TABLE myUserTable ( user_id STRING, user_name STRING uv BIGINT,原创 2021-08-29 23:04:23 · 1310 阅读 · 0 评论 -
Flink -sql -Hbase同步到mysql
套路官网实例https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hbase.html-- register the HBase table 'mytable' in Flink SQLCREATE TABLE hTable ( rowkey INT, family1 ROW<q1 INT>, family2 ROW<q2 STRING, q3 BIGINT>原创 2021-08-29 01:03:24 · 378 阅读 · 0 评论 -
Flink -sql - mysql数据同步版本二
1. 通过Flink Sql 将mysql 的数据同步到Mysql 中套路官网示例:// create a TableEnvironment for batch or streaming executionTableEnvironment tableEnv = ...; // see "Create a TableEnvironment" section// create an input TabletableEnv.executeSql("CREATE TEMPORARY TABLE原创 2021-08-26 00:26:12 · 725 阅读 · 1 评论 -
Flink -sql - mysql数据同步版本一
1. 通过Flink Sql 将mysql 的数据同步到Mysql 中套路官网示例:// create a TableEnvironment for batch or streaming executionTableEnvironment tableEnv = ...; // see "Create a TableEnvironment" section// create an input TabletableEnv.executeSql("CREATE TEMPORARY TABLE原创 2021-08-26 00:08:46 · 358 阅读 · 0 评论 -
Flinksql ----HiveCatalog
1. 理解1.JdbcCatalog 使得用户可以将Flink通过JDBC协议连接到关系数据库。2. PostgresCatalog 是当前实现的唯一一种JDBC Catalog2. 需要引入的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_${scala.binary.version}</artifactId原创 2021-08-21 00:10:10 · 1019 阅读 · 0 评论 -
Flinksql ---join
1.Flink sql 之join1.1 两个动态流转化为sql 的表进行动态关联需要主要的是: //默认值为0 表示FlinkSQL中的状态永久保存System.out.println(tableEnv.getConfig().getIdleStateRetention());//执行FLinkSQL状态保留10秒 输出的值保持时间,以最终的输入时间算起tableEnv.getConfig().setIdleStateRetention(Duration.ofSeconds(10));原创 2021-08-20 00:34:32 · 286 阅读 · 0 评论 -
Flink-sql自定义UDTFA函数
1. 用自定义的函数在Flink Sql 中使用1.1 官网也说的很详细https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/tableApi.html1.1.1 官网上面的例子:** * Accumulator for Top2. */public class Top2Accum { public Integer first; public Integer second;}/**原创 2021-08-19 00:25:04 · 235 阅读 · 0 评论 -
Flink-sql自定义UDAF函数
1. 用自定义的函数在Flink Sql 中使用1.1 官网也说的很详细https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html#scalar-functions1.1.1 官网上面的例子:import org.apache.flink.table.api.*;import org.apache.flink.table.functions.AggregateFunction;原创 2021-08-17 23:58:58 · 639 阅读 · 0 评论 -
Flink-sql自定义udtf 函数
1. 用自定义的函数在Flink Sql 中使用1.1 官网也说的很详细https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html1.1.1 官网上面的例子:import org.apache.flink.table.annotation.DataTypeHint;import org.apache.flink.table.annotation.FunctionHint;im原创 2021-08-12 00:25:59 · 856 阅读 · 0 评论 -
Flink-sql自定义udf 函数
1. 用自定义的函数在Flink Sql 中使用1.1 官网也说的很详细https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html1.1.1 官网上面的例子:import org.apache.flink.table.api.*;import org.apache.flink.table.functions.ScalarFunction;import static org.a原创 2021-08-12 00:21:20 · 510 阅读 · 0 评论