- 博客(85)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 hive UDF 根据ip解析地理位置信息
hive UDF 根据ip查询对应地理位置信息hive UDF 根据ip查询对应地理位置信息具体实现源码hive UDF 根据ip查询对应地理位置信息基本原理：ip地址为四段字符串组成，一般同一个子网的ip同属于一个区域。如202.203.78.210/24 和202.203.78.220/24同属于202.203.78.0这个子网 属于云南昆明这个区域。所以为了方便查找我们就可以将ip字符串转为long类型整数来进行查找。我们会将ip地址库加载进内存，然后使用二分查找来进行搜素并返回结果。基本要
2021-08-22 22:37:09
1592
原创 令人头秃的bug之 mybatis自动生成代码会一起生成别的数据库的同名表
bug:mybatis-generator-maven-plugin 插件在自动生成代码时配置不当，会生成别的数据库同名数据库表相关内容。原因：使用 mysql-connector-java 8.x 版本，generator 会为MySql中信息数据库(sys, information_schema, performance_schema)的表生成代码，若要避免这种操作，请在 JDBC URL 中加入属性“nullCatalogMeansCurrent=true”。原来的mybaits ge
2020-08-09 15:46:57
884
1
原创 commonCli实现参数解析和指定前缀动态参数解析
解析器import org.apache.commons.cli.{CommandLine, HelpFormatter, Option, Options, PosixParser}import org.slf4j.LoggerFactoryclass ParameterTool(args: Array[String]) { val JOB_NAME = "jobName" val QUEUE = "queue" val SQL_FILE_PATH = "sqlFilePath"
2024-01-17 14:52:49
411
1
原创 sparkUDF处理复杂嵌套数据结构 map(string, Struct)
【代码】sparkUDF处理复杂嵌套数据结构 map(string, Struct)
2024-01-15 14:59:25
360
原创 cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred
【代码】cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred。
2023-08-26 01:33:02
257
原创 java classLoad 类加载机制及类隔离
*** @date: 2023/8/6 下午2:03} //在此类装入器的类路径上搜索并装入类, ru guo zhaobudao jiu diaoyong fulei jiazaiqijinxin jiazai @Override public Class
2023-08-06 23:19:14
434
原创 java 加密工具类
System.out.println("明文: " + SecretUtils.decrypt(“ciphertext”));System.out.println(“密文：” + ciphertext);
2023-06-25 11:55:46
152
原创 doris基础
doris数据模型在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）：Row：即用户的一行数据；Column： 用于描述一行数据中不同的字段。Column可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说，Key列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。表数据会进行分区管理(逻辑上的划分)，同一个分区数据则会切分为
2022-05-29 00:59:53
791
1
原创 doirs数据库连接及数据导入
doris 客户端连接Doris 采用 MySQL 协议进行通信，用户可通过 MySQL client 或者 MySQL JDBC连接到 Doris 集群。选择 MySQL client 版本时建议采用5.1 之后的版本，因为 5.1 之前不能支持长度超过 16 个字符的用户名。Doris 内置 root 和 admin 用户，密码默认都为空。启动完 Doris 程序之后，可以通过 root 或 admin 用户连接到 Doris 集群。mysqlClientmysql -H hostname -P
2022-05-28 21:29:33
3301
原创 doris集群管理脚本
# dorisCluster.sh#/bin/bash####################################################################################脚本名：doris集群管理脚本#zuthor： kuro@jiayeli.cn#功 能：启动和停止doris集群#命 令： dorisCluster.sh start | stop | status ######################################
2022-05-27 16:11:48
353
原创 doris1.0 编译及安装
Apache Dorispache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。可以支持10PB以上的超大数据集。可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。编译下载 Docker 镜像$ docker pull apache/incubator-doris:build-env-ldb-toolchain-latest启动并挂载挂载本地 Doris 源码目录和maven仓库
2022-05-26 18:15:56
782
原创 快速排序原理及java实现
快速排序** 思想： **以一个数为基准点，第一次先把数据分成两份(分区)：一份大于基准点的和一份小于基准点的1.1 以第一个数为基准点P1.2 用leftpoint LP和rightpoint RP分别指向数据的第一个和最后一个数据，1.3 LP和RP的数据和P进行比较，如果LP小于等于p则LP右移，同理RP大于P则进行左移，同时如果LP大于p而且RP小于P则将lp和rp互换位置1.4 LP和RP相遇，比较LP|RP和P的大小，LP < P 则互换1.5 重复上面的过程，直到分区只
2022-05-15 18:10:09
144
原创 java 内存/cpu占用过高 问题排查
java 内存/cpu占用过高 问题排查jps 命令可参看进村id， ps 命令可查看线程id（SPID）， top命令spid和pid都叫pid#mermaid-svg-63X0f9v2Ga1I4ofO {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-63X0f9v2Ga1I4ofO .error-icon{fill:#552222;}#mermaid-svg
2022-05-08 19:21:35
924
原创 flink ... Aborting checkpoint. Failure reason: Not all required tasks are currently running.
exception:...(s8,1651649852323,-0.5016369965544841)>>>>>>>>>>>>>>>>>>>>>>>> task: 0 collect sensor data [(s8,1651649847591,-1.2380488385396649)](s8,1651649847591,-1.238048838539664
2022-05-04 15:46:18
4261
2
原创 markdown 流程图语法
markdown 流程图语法1.声明格式```mermaidgraph LR…```2.声明图形方向（TB上到下，LR左到右）graph LR3. 声明图标source(dataGenerator)mysql[mysqlDB]kafka[kafka]phoenix((phoenix))flinkDataSync[flinkDataSync]dataServer>dataServer]3.1 矩形 name[label]图形符号矩形name[la
2022-05-02 16:01:04
4289
原创 CDH6.2.0（别的也适用） 编译flink1.14.3
1. 方法有两种1.1 克隆cloudera提供的打包，然后下载flink一步一步按照教程来，比较麻烦。1.2 采用大佬开发好的脚本，直接一个shell搞定。（最好搞过javaEE和看得懂shell）1.3 免费下载我打包好的程序CDH-6.2-FLINK_ON_YARN-1.14.3.jar CDH-6.2-FLINK-1.14.3-BIN-SCALA_2.12.tar 2. 白剽大佬的项目flink-parcel3. 江湖规矩，有图为证...
2022-04-05 23:10:21
2580
7
原创 virt-manager network conifg
virt-manager network.xml<network> <name>default</name> <uuid>d8d6ad1b-b2ee-4f7e-a4a2-49ce11bcd7d3</uuid> <forward mode="nat"> <nat> <port start="1024" end="65535"/> </nat> </f
2022-03-30 11:01:09
357
原创 flink-cdc 环境搭建 version 1.14.3
flink-connector-cdc 独立于flink项目，顾名思义集成的时候要注意版本，注意版本，注意版本1.环境java: jdk8+scala: 1.11 或 1.12看你的flink和cdc依赖的scalaflink: 1.14.3mysql: 8.0flink-cdc1.1 flink-sql环境：如上flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar即为flink1.14的依赖,需要在flink_home/lib/下面添加该依赖
2022-03-13 14:17:43
8665
6
FLINK-1.14.3-BIN-SCALA_2.12.tar
2022-04-05
flink1.14.3 cdc jar包
2022-03-13
android centos and orcLinux niubi-Plues t.zip
2021-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人