![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
踩坑
zs_bigdata
自在极意功完全体
展开
-
Flink on docker
一. 镜像1. 官网搜索:https://hub.docker.com/_/flink?tab=tags&page=1&ordering=-name&name=1.13.12. 直接pulldocker pull flink:1.13.1-scala_2.12-java83. 写Dockerfile# 这里可以按照你的需要对镜像个性化定制,修改配置文件,增加各种依赖FROM flink:1.13.1-scala_2.12-java8RUN mkdir -p /op原创 2022-04-28 16:01:02 · 3079 阅读 · 0 评论 -
Flink On K8s
一. 环境1. 可用的k8s集群2. 宿主机有flink在这里插入图片描述3. 创建k8s命名空间# 创建namespacekubectl create namespace flink-session-test# 新建一个serviceaccount, 提交flinkkubectl create serviceaccount flink -n flink-session-test# 绑定kubectl create clusterrolebinding flink-role-bin原创 2022-04-28 11:56:13 · 2471 阅读 · 0 评论 -
Flink同时读取mysql与pgsql程序会卡住且没有日志
一. 问题如题,flink程序会一直卡在initialize阶段,且不会有任何日志二. 解决程序中读取mysql与pgsql时使用的方式是:DriverManager.getConnection(URL, USERNAME, PASSWORD);测试,如果只请求mysql,或者只请求pgsql就正常有数据,此时我就怀疑是否这个方法有问题把mysql请求换成使用德鲁伊获取连接dataSource = new DruidDataSource();dataSource.setDriverClas原创 2022-04-21 18:07:07 · 2909 阅读 · 0 评论 -
Flink CDC 中文乱码踩坑
一. 发现中文字段全部变成??? vim flink-conf.yaml#增加env.java.opts: "-Dfile.encoding=UTF-8"原创 2022-04-13 14:27:55 · 2708 阅读 · 1 评论 -
Streamx安装部署(1.2.2)
一. 介绍StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案二. 快速开始2.1 构建StreamX(需要jdk和mave原创 2022-04-02 11:26:49 · 3333 阅读 · 1 评论 -
Clickhouse一键自动安装脚本
一. 脚本#!/bin/sh# 下载if [ ! -f "clickhousedeploydata/tar/clickhouse-client-20.8.12.2.tgz" ]; then wget -P clickhousedeploydata/tar/ https://mirrors.tuna.tsinghua.edu.cn/clickhouse/tgz/stable/clickhouse-client-20.8.12.2.tgz wget -P clickho原创 2022-03-28 18:10:27 · 627 阅读 · 0 评论 -
Clickhouse导入导出Python脚本
一. 导出注意1: 端口号不是8123,阿里云默认python的tcp端口号是3306,自建默认是9000注意1: 账号密码不要带有特殊符号,哪怕有使用转义依然会登录不上去,自建一个导入导出的专属账号吧from celery.utils.log import get_task_loggerimport subprocesslogger = get_task_logger(__name__)# 从clickhouse 导出数据到本地# databaseName 库名# tableName原创 2022-03-21 15:30:14 · 1154 阅读 · 0 评论 -
Clikhouse-踩坑记录之求环比
Clikhouse-踩坑记录之求环比需求:求订单环比问题1:后端ibatis框架不支持子查询动态筛选,所以需要在sql中就实现排序.问题2:使用date格式的天进行聚合计算式,group by day分组会默认按照day升序,此时使用neighbor函数就不会出现乱序求环比,如果group by week/month等字符串分组,默认排序就不是我们想要的,此时使用neighbor函数就会出现乱序,环比就不对了SELECT month原创 2021-09-29 17:06:24 · 538 阅读 · 0 评论 -
Clickhouse-Summingmergetree特性带了的一个小坑
这里写自定义目录标题Clickhouse-SummingmergetreeSummingmergetreeClickhouse-Summingmergetree大家好,本次分享下Clickhouse踩的一个坑。Summingmergetree背景:ck版本20.3,使用summingmergetree引擎做聚合操作,这个引擎有个特性如果所有可聚合字段值都为零,词条记录会被框架自动删除;开发过程中,会有同事拿这张表来计算日活(或者与日活作对比,有可能这个设备当天就发了一条消息,确实指标都为0);原创 2021-09-09 18:20:18 · 278 阅读 · 0 评论 -
Flink on yarn log/userlogs里面的日志会自动删除
我发现任务失败后,到处找不到这个目录原本存在的taskmanager.err .log .out相关的日志了,不知道跑到哪里去了.我的hadoop3.14,flink1.12.1,有知道的小伙伴吗,求解原创 2021-04-02 09:59:06 · 1125 阅读 · 3 评论 -
Flink踩坑之DEBUG日志配置与Sink到Mysql
Flink日志配置log4j,debug需要落盘的话,代码中配置没用,需要在flink/conf/log4j.properties进行修改代码中使用;Logger logger = LoggerFactory.getLogger(XXXXX.class);logger.debug("This message contains {} placeholders. {}", "origin", JSON.toJSONString(xxxx));自用如下:## Unless required b原创 2021-03-07 16:54:43 · 1785 阅读 · 0 评论