- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spring Transaction导致Datasource连接池耗尽问题分析
spring 事务增强方法阻塞，导致datasource的connection资源被用光
2022-06-09 17:05:04
2023
原创 [Spark2.4] 增加Prometheus Sink带来的问题，并通过源码分析原因
背景当前有一个multi-module project，其中有ModuleA，ModuleB，ModuleC。ModuleA中定义了main函数，会通过SPI和反射等机制，从ModuleC中加载Spark foreachRDD方法的具体执行逻辑。ModuleB中定义了sparkstreaming context的配置，以及DStream的处理顺序。ModuleC中主要定义了foreachRDD的具体执行逻辑，例如将RDD对象反序列化后，写入Hbase中。三个Module的mvn依赖关系如
2022-01-27 17:01:43
1935
原创 Flink SqlServer CDC Listener线程无故消失问题
目录问题描述问题排查思路确认Listener状态Java异常体系捕获ThrowableThreadPoolExecutor的线程无故丢失问题Java Heap OOM解决方案：问题描述 代码不方便展示，只大概介绍一下sqlserver cdc的实现原理： 源码使用的是FlinkS，并对其sqlserver-connector进行的改造，其中SqlServer CDC的设计模式为生产者/消费者模型，通过一个LinkedBlockingQueue作...
2021-11-17 14:26:18
1564
原创 Java NIO WatchService的多级目录监控问题
目录前言问题递归监控子目录windows系统跨平台解决方案跨平台多级目录监控方案WatchService的其他注意事项前言 java7+提供了WatchService类，可以用来实现对文件增删改的监控，demo很简单，代码如下：package com.test.filewatch;import java.io.IOException;import java.nio.file.*;import java.util.List;import...
2021-08-27 13:47:35
1454
原创 Java ForkJoinPool初探
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习..
2021-06-09 14:53:00
1111
1
原创 flink+hive进行数据挖掘出现java.lang.IllegalArgumentException: The minBucketMemorySize is not valid!
项目背景使用flink(1.12.0)+hive(3.1)进行数据分析，使用windows10_x64(8GB内存)+idea进行开发，因为需要本地调试，且数据量是3W*3W左右的两个表，因此直接通过flink-client的MiniCluster在本地直接运行。问题描述将A、B两个表进行join后，按照其中4个字段进行group by并执行sum()和select()操作，这里会出现问题，错误堆栈如下Exception in thread "main" java.lang.Runtime
2021-04-24 18:25:51
2493
2
原创 java通过hdfs client jar编码出现java.io.IOException: No FileSystem for scheme: hdfs问题
HDFS的编码API入口根据hadoop2.10.1版本的API DOC来看，对HDFS的操作一共有两种API入口：通过org.apache.hadoop.fs.FileContext的静态方法创建。 通过org.apache.hadoop.fs.FileSystem的静态方法创建。其中FileContext是通过org.apache.hadoop.fs.AbstractFileSystem抽象类创建org.apache.hadoop.fs.HDFS类作为DFSClient；FileSyst
2021-04-13 16:36:45
777
原创 java8 concurrent之AQS源码解析
前言文章内容均以java 8_u151版本的代码为准。 文章内容绝大部分都是个人见解，如有错误的地方，欢迎大家指正。概述AbstractQueuedSychronizer（AQS）是一个concurrent的framework，AQS从java5+支持，是一个抽象类，继承了AbstractOwnableSychronizer（后面统称为AOS），但AOS却是从java6才添加的，也是个抽象类。AOS类的作用很简单，源码中只包含一个成员变量和对应成员变量的get set方法，作用就是记录Threa
2021-03-18 11:27:57
211
原创 html5 video 从Servlet(tomcat)读取mp4视频文件
文件背景工作中需要上传视频文件并展示，在前期工作中，利用java NIO、NFS和nginx实现了一套视频上传和展示代码，利用的是nginx加载静态资源的能力。现在有其他server服务需要读取视频文件，因此实现了一套RPC服务，server通过RPC获取视频，并通过Response返回给浏览器端展示。在实际操作中，遇到了很多问题，下面记录一下具体的实现思路和问题。基于Servlet容器的流式视频加载方案第一阶段：response.outputstream.write直接返回整个st..
2021-03-01 18:14:12
2920
3
原创 java8 SSLEngine实现TLSv1.2的handshake步骤
1、TLSv1.2 Handshake步骤：在java8 JSSE中，TLSv1.2的handshake文档链接:https://docs.oracle.com/javase/8/docs/technotes/guides/security/jsse/tls.html#the_tls_1.2_handshake下面我们直接上一个握手过程图：在TLSv1.2 handshake中，排除掉Optional的选项（这里注意：证书部分也是可选内容，也就是说HTTPS这些基于SSL/TLS协议的通信，
2021-01-05 13:02:38
2635
原创 SSM+多数据源（oracle+mysql）+tomcat在服务停止时报错：[Abandoned connection cleanup thread] has failed to stop
今天进行SSM框架整合并使用多数据源配置（oracle+mysql），具体配置如下：1、spring.xml<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/200...
2018-02-27 18:32:26
22430
5
空空如也
Java Socket关闭时，如何避免RST包的出现？
2022-12-06
java AQS并发框架怎么保证共享变量的原子性、可见性和有序性的？
2021-11-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人