Jomplte-CSDN博客

原创【flink cdc】flink读mysql写clickhouse

1. 使用flink cdc 读mysql 写clickhouse2. clickhouse使用CollapsingMergeTree sign 1 is a “state” row, -1 is a “cancel” row.3. 解决时间差8个小时问题

2022-12-12 17:42:42 987 1

原创 kafka cause: Record is corrupt (stored crc = 2998702025, computed crc = 1639670923)

Caused by: org.apache.kafka.common.KafkaException: Received exception when fetching the next record from t_vpn-2. If needed, please seek past the record to continue consumption.Caused by: org.apache.kafka.common.KafkaException: Record batch for partition

2021-04-08 13:44:36 3074

原创适合练习pandas的Tushare

Tushare大数据开放社区,免费提供各类金融数据和区块链数据,助力智能投资与创新型投资。博主推荐专属链接 https://tushare.pro/register?reg=400954 (成功推荐注册一个有效用户，获得50分)积分越高, 数据接口权限越大, 基础注册后完善基础信息就可以使用股票历史日行情线, 包括开盘收盘价涨跌额等信息, 大家不用担心,博主想获得上市公司管理层信息需要积分, 望大家助力同时数据非常适合练习pandas获取日行情线方法#!/usr/bin/python3# -*-

2020-11-13 14:04:20 379 2

原创 Flink 自定义Trigger实现带超时时间的计数窗口

stream.timeWindowAll(Time.seconds(10L)) .trigger(CountTimeoutTrigger(100L,TimeCharacteristic.ProcessingTime))import org.apache.flink.api.common.functions.ReduceFunctionimport org.apache.flink.api.common.state.ReducingStateDescriptorimport org.apa

2020-10-23 15:58:50 892

原创 Assigned key must not be null!

Assigned key must not be null!flink报错: Caused by: java.lang.NullPointerException: Assigned key must not be null!原因 keyBy的字段不能为null

2020-10-12 10:14:21 4923 2

原创 python join拼接字符串

四川,中,成都市,028四川,中,自贡市,0813四川,中,泸州市,0830四川,高,德阳市,0838四川,中,绵阳市,0816四川,中,遂宁市,0825四川,中,内江市,0832四川,高,南充市,0817四川,中,宜宾市,0831四川,中,广安市,0826四川,中,达州市,0818file = open(r'C:\Users\ZSIns15-5558\Desktop\ke...

2020-03-16 12:40:05 289

原创 scala版线程安全的日期时间工具(LocalDateTime)

import java.time.format.DateTimeFormatterimport java.time.{Instant, LocalDate, LocalDateTime, ZoneId}object DateTimeUtils { // 获取当前日期时间字符串格式: yyyy-MM-dd HH:mm:ss def getDate: String = { v...

2019-03-28 20:39:03 1012

翻译 zookeeper的简介与安装

zookeeper简介zookeeper是一个用于降低分布式系统开发过程中节点间协调问题开发难度的工具, 解决分布式系统中，节点和节点之间的动态感知问题zookeeper提供的功能：提供数据注册功能提供数据查询功能提供数据监听功能zookeeper的作用:分布式系统中的主从协调分布式系统中的名称服务分布式系统中的分布式共享锁分布式系统中的配置文件同步分布式系统中的服...

2018-10-07 19:22:20 194

翻译 azkaban资源下载及简单使用

azkaban工作流调度器Azkaban是由Linkedin公司推出的一个批量工作流任务轻量级调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程, 可定时, Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流azkaban 的资源下载链接：https://pan.baidu.com/s/1XGSg2rBU3jJruO...

2018-09-12 08:43:41 4228 2

翻译 Linux关于MySql密码过期, (忘记密码)的解决办法

密码过期错误信息如下：ERROR 1862 (HY000): Your password has expired. To log in you must change it using a client that supports expired passwords.// 错误1862 (HY000):您的密码已过期, 要登录，您必须使用支持过期密码的客户端进行更改用忽略授权表的方法进...

2018-08-25 23:08:34 2919

翻译 Windows安装hadoop2.7.1

Windows伪分布式搭建1. 下载 hadoop2.7.1.tar.gz, 解压放在磁盘C:\2. 新建文件夹3. 修改C:\hadoop2.7.1\etc\hadoop下文件hadoop-env.cmd// PROGRA~1为Program Files的软连接// 因为我的jdk路径, E:\Program Files\Java\jdk1.8.0_17...

2018-08-25 11:51:31 1337

翻译关于shell显示系统当前日期和时间的简单使用

date +%Y 以四位数字格式打印年份 eg: 2018date +%y 以二位数字格式打印年份 eg: 18date +%m 月份date +%d 日期date +%H 小时date +%M 分钟date +%S 秒date +%w 星期，如果结果显示0，则表示周日注意:date后面要有空格字母区分大小写date -d &amp;quot;-1 day&amp;quot; +%d 前一天的日期...

2018-08-18 15:37:02 18685 1

jomplte博客