And超超-CSDN博客

原创 Kettle 读写StarRocks数据

Kettle 读写StarRocks数据@Kettle@StarRocks一、首先Kettle是不支持直接读写StarRocks数据的,需要安装插件1、直接可以在Kettle官网下载，点击Download Now在下列菜单中即可找到pdi-ce-x.x.x.x-xxx.zip压缩包下载。2、解压压缩包后得到一个data-integration文件夹，这个文件夹下面会有一个新kettle启动入口3、此时要想读写StarRocks数据还需要一个连接器，StarRocks Kettle Connector

2023-10-24 13:05:34 529

原创 Flink Recovery is suppressed by NoRestartBackoffTime Strategy

Recovery is suppressed by NoRestartBackoffTime Strategy 主键冲突1、错误场景首先我这个错误场景是使用flink连接mysql时报的错。2、错误原因导致这个报错的原因是因为，mysql表里面设置了主键，并且新插入的数据中在mysql中已经存在，所以才会导致主键冲突。3、解决方案方案一：第一种解决方案，就是在flink DDL中添加主键：primary key(id) NOT ENFORCED不过flink 会将已经存在结果表的数据给更新

2022-01-04 11:28:24 18596 3

原创 FlinkSQL client如何区分批处理模式和流模式？

关于FlinkSQL client如何区分批处理模式和流模式？官方文档上面并没有给出明确的标准答案。不过偶然发现flink sql client的默认Planner 为Blink Planner。官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/sqlClient.html下面是Blink Planner的介绍不论输入数据源是流式的还是批式的，Table API 和 SQL 查询都会被转换成

2021-12-23 10:30:03 1974 2

原创 flink Blink Planner 和 old Planner的区别

Blink PlannerBlink Planner 不论输入数据源是流式的还是批式的，Table API 和 SQL 查询都会被转换成 DataStream 程序。查询在内部表示为逻辑查询计划，并被翻译成两个阶段：优化逻辑执行计划翻译成 DataStream 程序 Table API 或者 SQL 查询在下列情况下会被翻译： 1、当 TableEnvironment.execute

2021-12-23 10:08:49 525

原创 flink sql primary key

flink sql 添加主键DDL案例：-- 创建source表映射,注意：这里并不是真正的创建物理表，而是该表在数据库中已经存在。create table source( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 创建sink表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with (

2021-12-22 13:38:09 5960

原创 Flink Sql client & API案例

下面的案例是纯 flink sql 案例-- 创建数据源表映射create table source ( id bigint, name STRING)with ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/database', 'table-name' = 'table-name', // 这个是mysql中对应的表名 'username' = 'root', 'passwo

2021-12-21 15:03:02 864

原创 flink sql insert into导致数据覆盖

首先看一下我的案例：-- 创建数据源表映射create table source( id bigint, name STRING)with ();-- 创建目标表映射create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED)with ();-- 将source表的数据插入到sink表insert into sinkselect * from source;问题：我执行完这个

2021-12-21 14:50:33 2209

原创 kafka 新版本操作命令

kafka新版本操作命令启动命令：bin/kafka-server-start.sh -daemon config/server.properties创建topic./kafka-topics.sh --create --bootstrap-server spark01:9092 --replication-factor 1 --partitions 1 --topic test2查看topic./kafka-topics.sh --bootstrap-server spark01:9092

2021-11-19 10:38:42 1706 1

原创 kafka单节点创建 topic 超时

kafka单节点创建 topic 超时单节点kafka创建topic时报错：Timed out waiting for a node assignment. Call: createTopics经过检查是因为server.properties 配置文件的问题找到listeners=PLAINTEXT://localhost:9092 这一行之后注释掉，然后重启kafka即可。...

2021-11-18 11:13:57 6417 1

原创 maven 打包报错：The following files had format violations

The following files had format violations报错信息一般这种问题是因为依赖包没有下载下来导致的，只需要在报错信息中找到这个命令在IDEA中执行，下载所需要的依赖包即可。例如在自己的报错信息中找到类似于这种命令。在IDEA Terminal中执行即可...

2021-10-27 15:53:00 5992

原创 Flink WordCount Scala版

package batchwordcountimport org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.scala._object BatchWordCount { def main(args: Array[String]): Unit = { /** * 一、创建运行环境 */ // 创建批处理运行环境 val env = Execut

2021-06-30 19:00:08 179

原创 Flink wordCount Java版

import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.util.Collector;public cla

2021-06-30 18:43:01 203

weixin_42133361的博客