Zhikuan53-CSDN博客

原创 hive自定义udf根据经纬度计算geohash

需求：给业务数据加一列geohash字段，hive中没有现成的函数pom依赖： <dependency> <groupId>ch.hsr</groupId> <artifactId>geohash</artifactId> <version>1.3.0</version> </dependency> <dependency>

2021-03-11 16:16:02 1483

原创 shell定时脚本监控yarn上running任务并重新提交

假设现在有一个flink任务在yarn上常态化运行，为了在任务失败时能重新运行，可以写一个定时脚本去监控#!/bin/bashyarn application -list -appStates RUNNING 2>/dev/null | grep application_ |grep Flink | awk '{print $1}' > yarn_running.txtapps=$(cat yarn_monitor.txt)running_app=`yarn application

2020-12-31 16:21:37 1289

原创 sqoop import/export参数说明

1.import/export通用选项　　　　　　　　含义说明–connect 指定JDBC连接字符串–connection-manager 指定要使用的连接管理器类–driver 指定要使用的JDBC驱动类–hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径–help 打印用法帮助信息–password-file 设置用于存放认证的密码信息文件的路径-P 从控制台读取输入的密码–password 设置认证密码–username 设置认证用

2020-12-22 10:42:50 441

原创 cdh namenode异常停止，报错：Error: flush failed for required journal (JournalAndStream(mgr=QJM to

大概报错信息如下：2020-12-09 14:07:56,509 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: Error: flush failed for required journal (JournalAndStream(mgr=QJM to [xxx:8485, xxx:8485, xxx:8485], stream=QuorumOutputStream starting at txid 74798133))2020-

2020-12-09 18:00:11 1049

原创记录一下在使用flink sql设置sink表连接参数时遇到的一个问题

使用flink版本1.11.1，使用flink cdc功能实时获取MySQL数据变化并计算指标，最后使用insert语句sink到MySQL。在1.11版本之前，sink表建表是这样的：CREATE TABLE zktest(in int,name string,PRIMARY KEY (`id`) NOT ENFORCED) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://xxx/zktest?useSSL

2020-11-28 14:55:04 2269

原创 flink不同方式加载MySQL维表demo

在flink sql中加载维表比较简单定时加载：CREATE TABLE zktest( id int NOT NULL, name string, PRIMARY KEY (id) NOT ENFORCED --指定主键) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://xxxx:xxxx/spd?useSSL=false&autoReconnect=true', 'driver' = 'com.mysql.cj

2020-11-27 17:55:17 1206

原创关于flink1.11 flink sql使用cdc时区差8小时问题

在连接参数中设置 ‘server-time-zone’ = ‘Asia/Shanghai’比如：WITH (‘connector’ = ‘mysql-cdc’,‘hostname’ = ‘xxx’,‘port’ = ‘3306’,‘username’ = ‘root’,‘password’ = ‘root’,‘database-name’ = ‘xxx’,‘table-name’ = ‘xxx’,‘server-time-zone’ = ‘Asia/Shanghai’不设置的话可能会改变

2020-11-26 18:00:58 6445 4

weixin_44762298的博客