![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
zs_bigdata
自在极意功完全体
展开
-
Flink读取kafka的Topic,如果不存在就创建这个topic
【代码】Flink读取kafka的Topic,如果不存在就创建这个topic。原创 2023-03-28 16:09:48 · 365 阅读 · 0 评论 -
Flinksql 读写pgsql
2 踩坑如果pgsql使用了schema,name此时表名需要``转义,否则会报找不到medical object原创 2022-06-27 19:20:52 · 1771 阅读 · 0 评论 -
Flink1.14新版kafkaSource和kafkaSink
工具类public class KafkaUtils { /** * 功能描述: <br> * 〈自定义build,生产kafkaSource〉 * @Param: [env, topic, groupId, offsets] * @Return: org.apache.flink.streaming.api.datastream.DataStreamSource<java.lang.String> * @Author: s原创 2022-05-31 11:20:11 · 2451 阅读 · 1 评论 -
Flink on docker
一. 镜像1. 官网搜索:https://hub.docker.com/_/flink?tab=tags&page=1&ordering=-name&name=1.13.12. 直接pulldocker pull flink:1.13.1-scala_2.12-java83. 写Dockerfile# 这里可以按照你的需要对镜像个性化定制,修改配置文件,增加各种依赖FROM flink:1.13.1-scala_2.12-java8RUN mkdir -p /op原创 2022-04-28 16:01:02 · 3079 阅读 · 0 评论 -
Flink On K8s
一. 环境1. 可用的k8s集群2. 宿主机有flink在这里插入图片描述3. 创建k8s命名空间# 创建namespacekubectl create namespace flink-session-test# 新建一个serviceaccount, 提交flinkkubectl create serviceaccount flink -n flink-session-test# 绑定kubectl create clusterrolebinding flink-role-bin原创 2022-04-28 11:56:13 · 2471 阅读 · 0 评论 -
Flink压缩并按照指定字段分区发送Kafka
一. 工具类/** * 功能描述: <br> * 〈按照指定的filed字段分区发送到kafka〉 * @Param: [topic, filed] * @Return: org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer<java.lang.String> * @Author: sheng * @Date: 2022/4/28 10:16 上午 */ public static Fli原创 2022-04-28 10:20:29 · 553 阅读 · 0 评论 -
Flink配log4j2日志输出
一. idea中配置1. resources文件夹添加log4j2.xml文件<?xml version="1.0" encoding="UTF-8"?><configuration monitorInterval="5"> <Properties> <property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%原创 2022-04-26 11:19:59 · 4652 阅读 · 1 评论 -
Flink同时读取mysql与pgsql程序会卡住且没有日志
一. 问题如题,flink程序会一直卡在initialize阶段,且不会有任何日志二. 解决程序中读取mysql与pgsql时使用的方式是:DriverManager.getConnection(URL, USERNAME, PASSWORD);测试,如果只请求mysql,或者只请求pgsql就正常有数据,此时我就怀疑是否这个方法有问题把mysql请求换成使用德鲁伊获取连接dataSource = new DruidDataSource();dataSource.setDriverClas原创 2022-04-21 18:07:07 · 2909 阅读 · 0 评论