- 博客(12)
- 收藏
- 关注
原创 Kettle 读写StarRocks数据
Kettle 读写StarRocks数据@Kettle@StarRocks一、首先Kettle是不支持直接读写StarRocks数据的,需要安装插件1、直接可以在Kettle官网下载,点击Download Now在下列菜单中即可找到pdi-ce-x.x.x.x-xxx.zip压缩包下载。2、解压压缩包后得到一个data-integration文件夹,这个文件夹下面会有一个新kettle启动入口3、此时要想读写StarRocks数据还需要一个连接器,StarRocks Kettle Connector
2023-10-24 13:05:34
591
原创 Flink Recovery is suppressed by NoRestartBackoffTime Strategy
Recovery is suppressed by NoRestartBackoffTime Strategy 主键冲突1、错误场景首先我这个错误场景是使用flink连接mysql时报的错。2、错误原因导致这个报错的原因是因为,mysql表里面设置了主键,并且新插入的数据中在mysql中已经存在,所以才会导致主键冲突。3、解决方案方案一:第一种解决方案,就是在flink DDL中添加主键:primary key(id) NOT ENFORCED不过flink 会将已经存在结果表的数据给更新
2022-01-04 11:28:24
18765
3
原创 FlinkSQL client如何区分批处理模式和流模式?
关于FlinkSQL client如何区分批处理模式和流模式?官方文档上面并没有给出明确的标准答案。不过偶然发现flink sql client的默认Planner 为Blink Planner。官方文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/sqlClient.html下面是Blink Planner的介绍不论输入数据源是流式的还是批式的,Table API 和 SQL 查询都会被转换成
2021-12-23 10:30:03
1999
2
原创 flink Blink Planner 和 old Planner的区别
Blink PlannerBlink Planner 不论输入数据源是流式的还是批式的,Table API 和 SQL 查询都会被转换成 DataStream 程序。查询在内部表示为逻辑查询计划,并被翻译成两个阶段: 优化逻辑执行计划 翻译成 DataStream 程序 Table API 或者 SQL 查询在下列情况下会被翻译: 1、当 TableEnvironment.execute
2021-12-23 10:08:49
529
原创 flink sql primary key
flink sql 添加主键DDL案例:-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。create table source( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 创建sink表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with (
2021-12-22 13:38:09
6018
原创 Flink Sql client & API案例
下面的案例是纯 flink sql 案例-- 创建数据源表映射create table source ( id bigint, name STRING)with ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/database', 'table-name' = 'table-name', // 这个是mysql中对应的表名 'username' = 'root', 'passwo
2021-12-21 15:03:02
871
原创 flink sql insert into导致数据覆盖
首先看一下我的案例:-- 创建数据源表映射create table source( id bigint, name STRING)with ();-- 创建目标表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 将source表的数据插入到sink表insert into sinkselect * from source;问题:我执行完这个
2021-12-21 14:50:33
2240
原创 kafka 新版本 操作命令
kafka新版本操作命令启动命令:bin/kafka-server-start.sh -daemon config/server.properties创建topic./kafka-topics.sh --create --bootstrap-server spark01:9092 --replication-factor 1 --partitions 1 --topic test2查看topic./kafka-topics.sh --bootstrap-server spark01:9092
2021-11-19 10:38:42
1723
1
原创 kafka单节点创建 topic 超时
kafka单节点创建 topic 超时单节点kafka创建topic时报错:Timed out waiting for a node assignment. Call: createTopics经过检查是因为server.properties 配置文件的问题找到listeners=PLAINTEXT://localhost:9092 这一行之后注释掉,然后重启kafka即可。...
2021-11-18 11:13:57
6470
1
原创 maven 打包报错:The following files had format violations
The following files had format violations报错信息一般这种问题是因为依赖包没有下载下来导致的,只需要在报错信息中找到这个命令在IDEA中执行,下载所需要的依赖包即可。例如在自己的报错信息中找到类似于这种命令。在IDEA Terminal中执行即可...
2021-10-27 15:53:00
6128
原创 Flink WordCount Scala版
package batchwordcountimport org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.scala._object BatchWordCount { def main(args: Array[String]): Unit = { /** * 一、创建运行环境 */ // 创建批处理运行环境 val env = Execut
2021-06-30 19:00:08
184
原创 Flink wordCount Java版
import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.util.Collector;public cla
2021-06-30 18:43:01
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人