![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
zs_bigdata
自在极意功完全体
展开
-
Flink1.14新版kafkaSource和kafkaSink
工具类public class KafkaUtils { /** * 功能描述: <br> * 〈自定义build,生产kafkaSource〉 * @Param: [env, topic, groupId, offsets] * @Return: org.apache.flink.streaming.api.datastream.DataStreamSource<java.lang.String> * @Author: s原创 2022-05-31 11:20:11 · 2451 阅读 · 1 评论 -
Flink on docker
一. 镜像1. 官网搜索:https://hub.docker.com/_/flink?tab=tags&page=1&ordering=-name&name=1.13.12. 直接pulldocker pull flink:1.13.1-scala_2.12-java83. 写Dockerfile# 这里可以按照你的需要对镜像个性化定制,修改配置文件,增加各种依赖FROM flink:1.13.1-scala_2.12-java8RUN mkdir -p /op原创 2022-04-28 16:01:02 · 3079 阅读 · 0 评论 -
Flink On K8s
一. 环境1. 可用的k8s集群2. 宿主机有flink在这里插入图片描述3. 创建k8s命名空间# 创建namespacekubectl create namespace flink-session-test# 新建一个serviceaccount, 提交flinkkubectl create serviceaccount flink -n flink-session-test# 绑定kubectl create clusterrolebinding flink-role-bin原创 2022-04-28 11:56:13 · 2471 阅读 · 0 评论 -
Flink压缩并按照指定字段分区发送Kafka
一. 工具类/** * 功能描述: <br> * 〈按照指定的filed字段分区发送到kafka〉 * @Param: [topic, filed] * @Return: org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer<java.lang.String> * @Author: sheng * @Date: 2022/4/28 10:16 上午 */ public static Fli原创 2022-04-28 10:20:29 · 553 阅读 · 0 评论 -
Streamx安装部署(1.2.2)
一. 介绍StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案二. 快速开始2.1 构建StreamX(需要jdk和mave原创 2022-04-02 11:26:49 · 3333 阅读 · 1 评论 -
Clikhouse-踩坑记录之求环比
Clikhouse-踩坑记录之求环比需求:求订单环比问题1:后端ibatis框架不支持子查询动态筛选,所以需要在sql中就实现排序.问题2:使用date格式的天进行聚合计算式,group by day分组会默认按照day升序,此时使用neighbor函数就不会出现乱序求环比,如果group by week/month等字符串分组,默认排序就不是我们想要的,此时使用neighbor函数就会出现乱序,环比就不对了SELECT month原创 2021-09-29 17:06:24 · 538 阅读 · 0 评论 -
logstash
踩坑记录1,out部分,如果需要json,需要使用json_line原创 2021-05-27 12:50:05 · 66 阅读 · 0 评论