flink
flink使用笔记
盛源_01
真正的优秀是习惯的优秀。
展开
-
flink读写kafka
1 读kafka参考代码/** * flink-sql形式读取(flink1.14支持多个topic), 适合json格式统一的情况 */def readKafka(tab_env: StreamTableEnvironment, topics: String, servers: String, group_id: String): Unit = { // 连接kafka val kafka_view = s""" |CREATE TABLE原创 2022-04-11 21:00:30 · 3328 阅读 · 0 评论 -
flink读写filesystem
1 flink-sql写parquet格式1 参考链接Parquet | Apache FlinkParquetOutputFormat - parquet-hadoop 1.10.0 javadocFileSystem | Apache Flink注意: 多个链接要结合起来看2 连接文件系统CREATE TABLE test_fs_table ( iid STRING, local_time TIMESTAMP, dt STRING, dh STRING原创 2022-04-06 18:24:34 · 2678 阅读 · 0 评论 -
flink相关优化
1 小文件优化并行度回滚时间文件大小checkpointcompact原创 2022-04-02 10:51:31 · 2046 阅读 · 0 评论 -
flink问题汇总
1 本地运行, 写出parquet报错, 而json没有问题Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/ConfigurationCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration2 flink输出日志设置1. 无法加载类SLF4J: Failed to l原创 2022-03-29 22:38:09 · 2759 阅读 · 0 评论 -
flink本地运行及访问webui
1 webui的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</version> <scope>${scope.type}</scope></depend原创 2022-03-29 18:36:16 · 4846 阅读 · 1 评论 -
flink-sql实现多个insert语句一起执行
1 问题背景使用flink-sql开发, 当多个insert分别写出时, 生成了多个job, 每个job都在yarn上启动了一个应用,flink的per-job模式,一个job就会申请一次资源.-2 问题解决// 创建语句集val stmtSet = tab_env.createStatementSet// 增加insert语句stmtSet.addInsertSql("insert_01")stmtSet.addInsertSql("insert_02")// 执行多个原创 2022-03-23 17:03:34 · 7072 阅读 · 2 评论 -
Flink操作json数据
1 kafka中的json数据关键词:json、嵌套、复杂结构、Map、Array、Row1. Flink SQL 解析嵌套的 JSON 数据_JasonLee_后厂村程序员-CSDN博客2 内置json函数1. 官方文档System (Built-in) Functions | Apache Flink2. 函数使用JSON_VALUE('{"a":}', '$.a') --> nullJSON_VALUE('{"a":""}', '$.a')..原创 2022-03-02 20:56:26 · 5751 阅读 · 0 评论 -
flink学习笔记
1 依赖设置1 scala的基本依赖设置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/原创 2022-02-23 21:50:58 · 1190 阅读 · 0 评论