m0_50670853的博客

APOC提供了数据集成，数据导出，数据结构，高级图查询等诸多功能，本小节选取部分过程和函数进行演示。查询从snapshot.sd_equipments表到dwd.dwd_equip_situation_f_d表的数据流。查询从snapshot.sd_equipments表到dwd.dwd_equip_situation_f_d表的数据流。查询dwd.dwd_zm_pr_equip_track_f_d的上游sd_order_count。查询dwd.dwd_zm_pr_equip_track_f_d的上游。

【代码】Flink读取kafka的Topic，如果不存在就创建这个topic。

使用docker-compose部署clickhouse、flink、java项目

2 踩坑如果pgsql使用了schema,name此时表名需要``转义,否则会报找不到medical object

工具类public class KafkaUtils { /** * 功能描述: <br> * 〈自定义build,生产kafkaSource〉 * @Param: [env, topic, groupId, offsets] * @Return: org.apache.flink.streaming.api.datastream.DataStreamSource<java.lang.String> * @Author: s

一. 镜像1. 官网搜索:https://hub.docker.com/_/flink?tab=tags&page=1&ordering=-name&name=1.13.12. 直接pulldocker pull flink:1.13.1-scala_2.12-java83. 写Dockerfile# 这里可以按照你的需要对镜像个性化定制,修改配置文件,增加各种依赖FROM flink:1.13.1-scala_2.12-java8RUN mkdir -p /op

一. 环境1. 可用的k8s集群2. 宿主机有flink在这里插入图片描述3. 创建k8s命名空间# 创建namespacekubectl create namespace flink-session-test# 新建一个serviceaccount, 提交flinkkubectl create serviceaccount flink -n flink-session-test# 绑定kubectl create clusterrolebinding flink-role-bin

一. 工具类/** * 功能描述: <br> * 〈按照指定的filed字段分区发送到kafka〉 * @Param: [topic, filed] * @Return: org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer<java.lang.String> * @Author: sheng * @Date: 2022/4/28 10:16 上午 */ public static Fli

一. idea中配置1. resources文件夹添加log4j2.xml文件<?xml version="1.0" encoding="UTF-8"?><configuration monitorInterval="5"> <Properties> <property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%

一. 拉取镜像# 21.8.15.7指定版本docker pull yandex/clickhouse-server:20.8.19二. 修改配置1. 启动临时容器，目的：拷贝容器内配置文件docker run -d --rm --name=temp yandex/clickhouse-server:20.8.19docker ps #查看是否启动2. 宿主机创建目录，用于存放配置文件、数据、日志sudo mkdir -p /usr/local/clickhouse/conf /usr

一. 问题如题,flink程序会一直卡在initialize阶段,且不会有任何日志二. 解决程序中读取mysql与pgsql时使用的方式是:DriverManager.getConnection(URL, USERNAME, PASSWORD);测试,如果只请求mysql,或者只请求pgsql就正常有数据,此时我就怀疑是否这个方法有问题把mysql请求换成使用德鲁伊获取连接dataSource = new DruidDataSource();dataSource.setDriverClas

一. 发现中文字段全部变成??? vim flink-conf.yaml#增加env.java.opts: "-Dfile.encoding=UTF-8"

一. 介绍StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案二. 快速开始2.1 构建StreamX（需要jdk和mave

一. 脚本#!/bin/sh# 下载if [ ! -f "clickhousedeploydata/tar/clickhouse-client-20.8.12.2.tgz" ]; then wget -P clickhousedeploydata/tar/ https://mirrors.tuna.tsinghua.edu.cn/clickhouse/tgz/stable/clickhouse-client-20.8.12.2.tgz wget -P clickho

一. 导出注意1: 端口号不是8123,阿里云默认python的tcp端口号是3306,自建默认是9000注意1: 账号密码不要带有特殊符号,哪怕有使用转义依然会登录不上去,自建一个导入导出的专属账号吧from celery.utils.log import get_task_loggerimport subprocesslogger = get_task_logger(__name__)# 从clickhouse 导出数据到本地# databaseName 库名# tableName

Clikhouse-踩坑记录之求环比需求:求订单环比问题1:后端ibatis框架不支持子查询动态筛选,所以需要在sql中就实现排序.问题2:使用date格式的天进行聚合计算式,group by day分组会默认按照day升序,此时使用neighbor函数就不会出现乱序求环比,如果group by week/month等字符串分组,默认排序就不是我们想要的,此时使用neighbor函数就会出现乱序,环比就不对了SELECT month

这里写自定义目录标题Clickhouse-SummingmergetreeSummingmergetreeClickhouse-Summingmergetree大家好,本次分享下Clickhouse踩的一个坑。Summingmergetree背景：ck版本20.3,使用summingmergetree引擎做聚合操作,这个引擎有个特性如果所有可聚合字段值都为零,词条记录会被框架自动删除；开发过程中,会有同事拿这张表来计算日活(或者与日活作对比,有可能这个设备当天就发了一条消息,确实指标都为0)；

踩坑记录1，out部分，如果需要json，需要使用json_line

我发现任务失败后,到处找不到这个目录原本存在的taskmanager.err .log .out相关的日志了,不知道跑到哪里去了.我的hadoop3.14,flink1.12.1,有知道的小伙伴吗,求解

Flink日志配置log4j，debug需要落盘的话，代码中配置没用，需要在flink/conf/log4j.properties进行修改代码中使用；Logger logger = LoggerFactory.getLogger(XXXXX.class);logger.debug("This message contains {} placeholders. {}", "origin", JSON.toJSONString(xxxx));自用如下：## Unless required b