- 博客(97)
- 收藏
- 关注
RSS订阅原创 mybatis 高并发查询性能问题
mybatis 配置 （getOfflineConfigSqlTemplate 该方法返回的是动态sql ）压测结果观察线程阻塞情况此时的QPS 在 80 左右。
2023-12-01 10:33:43
281
1
原创 flinksql sink to sr often fail because of nullpoint
flinksql and flink datastream sink to starrocks often fail because of nullpoint
2023-08-09 14:07:50
469
原创 kettle data-integration使用zookeepe连接串模式实现Hiverserver2的HA
Kettle data-integration 使用zookeeper 连接串模式实现Hiverserver2 的HA
2022-09-07 14:15:21
507
原创 java 单例模式的常用的两种创建方式
java 单例模式的几种创建方式方式一 （私有静态内部类）方式二（私有静态成员变量）方式一 （私有静态内部类）/** * @desc java singleton class generate by private static internal class */public class HookManagerHandler { private HookManagerHandler() { } private static class MangerHandler {
2022-02-08 15:33:33
131
原创 java 8 获取某个日期所在季度的最后一天
public static String getQuarterLastDay(String date) { LocalDate nowDate = LocalDate.parse(date, df); Month firstMonthOfQuarter = nowDate.getMonth().firstMonthOfQuarter(); Month endMonthOfQuarter = Month.of(firstMonthOfQuarter.get..
2021-12-30 15:33:27
1600
原创 linux shell 文件操作
删除某个目录下所有_remote.repositories文件find /path/ -name "_remote.repositories" | xargs rm
2021-12-25 14:26:00
621
原创 kibana script 查询
kibana 记多条件精准匹配查询GET user_action-2021.12.10/_search{ "query": { "bool": { "must": [ { "term": { "title": { "value": "xxxxxxxxx" } } } ]
2021-12-22 19:14:27
223
原创 mysql jdbc写入和读取emjo
场景：hive parquet 文件中的带有emjo 的文本数据写入mysql生产环境mysql 版本：5.7.28表级别的设置：ALTER TABLE demo.table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ;执行无效尝试本地使用docker搭建mysql 模拟插入带有emjo 格式的文本数据本地搭建docker mysql 版本：5.7.26my.cnf 配置文件内...
2021-10-10 17:29:38
129
原创 Java 写parquet格式数据到hdfs
场景： 将接口数据接入数仓hive 版本：2.1.1 hadoop 版本： 3.0.0引入maven 依赖： <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.60</version> ...
2021-10-09 17:13:26
1028
1
原创 Linux shell 指定日期区间循环调度
场景：Azkaban 调度历史数据1:调度 start_time ~ end_time 时间间隔内的所有分区 格式为 yyyy-MM-dd#!/usr/bin/env bashEXPORT_START_DATE=2021-05-01EXPORT_END_DATE=2021-08-21i=$EXPORT_START_DATEwhile [[ $i < `date -d "+1 day $EXPORT_END_DATE" +%Y-%m-%d` ]]doSTARTDATE=$i.
2021-10-09 14:43:04
419
原创 Spark 整合 hive
CDH 版本： cdh6.3.2组件版本：hadoop 版本： 3.0.0spark 版本：2.4.0hive 版本 ：2.1.1使用编码方式进行整合首先添加spark-hive 依赖 和hive 依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</arti...
2021-09-16 09:51:36
287
原创 springmvc 使用注解配置欢迎页源码分析
自定义的欢迎也需要在放在上面所在文件夹目录中(笔者的springboot工程中在resources 目录下新建了一个resources 目录 自定义的index.html放在该目录下)
2021-09-15 18:04:19
220
原创 多kafka 集群搭建
场景：在一个cdh 集群环境中 部署第二套kafka 集群部署逻辑：除cdh 部署的zk 外 使用不同的端口又单独部署了一套 zk ，kafka 同理 使用非默认的端口单独部署另一个kafka 集群遇到的问题：使用 kafka console shell 生产 数据 使用 kafka console shell 消费不到数据发现使用 sh kafka-console-consumer --zookeeper 模式可以 消费到 数据。问题定位： kafka 的元数据 默...
2021-06-28 14:15:06
485
原创 CDH6.1配置Flink 集群
cdh搭建flink集群参考链接 https://github.com/pkeropen/flink-parcel笔者没有使用清华镜像 使用的是https://archive.apache.org/dist/flink/flink-1.13.1/执行 build.sh csd_on_yarn 命令后 会得到一个csd 文件： flink_csd_build 然后将文件 copy 到 cdh 默认的安装包目录：/opt/cloudera/csd 目录中参考链接 https://github.com/pk
2021-06-08 16:02:03
571
3
原创 java8 stream分组聚合
java map <String,String>转Map<String,List>使用场景： 多个map 使用场景： 多个map <String,String> 根据key 进行分组 ，相同key 的value 使用list 例如： Map<String,String> map1=new HashMap<>(); map1.put("key1","value1"); map1.put("key2","value2"); Map<S
2021-05-31 11:14:11
661
原创 SpringBoot exclude的使用
SpringBoot 集成security 使用其加密方法集成 spring-boot-starter-security取消自动注入(java配置或者是properties文件中配置)使用 BCryptPasswordEncoder 加密结果 ： 启动时控制台不在有security 默认的密码 ，引用BCryptpassword得到加密后的密钥串集成 spring-boot-starter-security <dependency> <groupId>o
2021-02-20 22:16:36
1904
原创 spring boot 2.X 使用tomcat 9.X版本issue
spring boot 2.X 使用tomcat 9.X版本issue启动异常异常分析解决方案(tomcat bean 配置)结果 ：再次启动无报错 有效启动异常The HTTP header line [spas-accesskey0x0d] does not conform to RFC 7230 and has been ignored异常分析The way that errors that occur very early during HTTP request processing a
2021-02-20 17:03:39
721
原创 lambda 表达式实现Collection 中元素操作
场景：replace into tableName (xxx…) values (xxx)中 表的列通过某种方式获取到的一个集合 value 同样是获取到的集合 如何实现 集合与 sql 的拼接？解决方案(java lambda 表达式)String keys=keysCollection.stream().map(s -> "\'" + s + "\'").collect(Collectors.joining(", "));String values=valuesCollection.st
2020-12-31 13:23:38
219
原创 docker下安装mysql服务
遇到的坑mysqld: error while loading shared libraries: libnuma.so.1: cannot open shared object file: No such file or directory解决方案：如果已经安装了libnuma.so.1，先yum remove libnuma.so.1然后 yum -y install numactl.x86_64重新启动 mysqld --initialize --user=mysqldocker 创建c
2020-12-25 14:18:38
154
原创 sql去空格
sql 去空格REPLACE(REPLACE(REPLACE(code ,',','，'),CHAR(13),''),CHAR(10),'')
2020-12-02 11:03:48
318
原创 scala 正则表达配置两个花括号{{}} 之间的内容
var regex = Pattern.compile("(?<=\\{\\{).*?(?=\\})")
2020-11-20 22:39:18
545
原创 Presto sql 查询
presto jdbc sql 查询报错Query failed (#20201021_073616_00024_m7747): line 1:72: Cannot check if timestamp is BETWEEN varchar(19) and varchar(19)解决方案：在时间类型前 加 timestamp 关键字where creationdate BETWEEN timestamp ‘2020-10-21 00:00:00’ and timestamp ‘2020-10-21
2020-10-21 15:39:41
1176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人