九师兄-CSDN博客

原创【kafka】kafka指标查询、InstanceNotFound、kafka.server、BrokerTopicMetrics

最近做了一个kafka监控，然后发现报错了，错误信息如下但是查看topic是正常的。

2024-07-27 00:30:00 6

原创【Spring】AopConfigException Unexpected AOP exception Unable to load cache item

今天想做一个MyIbatis plugs相关的项目，然后运行报错详情报错信息如下我的maven配置如下首先定义了一个实体类如下然后定义了service然后定义了实现类然后定义一个mapper然后定义了这个xml查询然后定义了配置加载最后主类如下。

2024-07-27 00:15:00 6

原创【Mybatis】数据库timestamp使用Mybatis String取值多了.0问题

Mybatis中Model使用String接收后显示时尾巴多了个。注意，时间取值时，尽量在数据库sql语句中格式化一下。

2024-07-26 00:30:00 114

原创【MySQL】MySQL 模糊查询、特殊字符查询 %、_下划线、点、括号（）等

今天有个需求是查询要支持特殊字符查询等，其实我们的产品写入数据的时候，限制了不能填写特殊字符，容纳后查询的时候还要支持特殊字符。

2024-07-26 00:30:00 221

原创【PostgreSQL】大规模数据标签查找之-pg_roaringbitmap实战

写这篇文章，是因为我这几天正好在做标签相关的，但是我感觉我做的很垃圾，而我恰巧在学习，然后就搜索到了pg_roaringbitmap相关的知识，这里学习一下。

2024-07-25 00:30:00 14

原创【大数据】稀疏位图存储、RoaringBitmap、布隆过滤器，判断元素是否在集合、精确去重

是一种基于位图的数据结构，可以高效地存储大量的非负整数，并支持多种集合运算，如并集、交集、差集等。它可以高效地判断一个元素是否在集合中，并且可以使用很少的空间来存储集合。本文阐述了 RoaringBitmap的基础原理、数据结构和 Container 源码，也列举了 Go 语言常用的位运算。因为最近在业务场景里使用到了 RoaringBitmap。在大数据的应用场景使用 RoaringBitmap 确实能够达到降本增效的作用。

2024-07-25 00:15:00 89

转载【java】为什么 0.1 + 0.2 = 0.300000004

因为 0.2 和 0.1 只是指数稍有不同，所以上图中只展示了 0.1 对应的单精度浮点数，从上图的结果我们可以看出，0.1 和 0.2 在浮点数中只能用近似值来代替，精度十分有限，因为单精度浮点数的小数位为 23，双精度的小数位为 52，同时都隐式地包含首位的 1，所以它们的精度在十进制中分别是。浮点数系统的设计是一个比较有趣的工程问题，因为操作系统一般都是 32 位或者 64 位的，浮点数充分利用了 32/64 位的比特，将每一位的作用都发挥到极致，使用最紧凑和简洁的方式实现了尽可能高的精度。

2024-07-22 00:30:00 28

原创【java】java OmitStackTraceInFastThrow 异常不打印异常栈

但是在今天这个场景下，经过我的检查，确认 java.lang.NullPointerException 不是由 log.error(e) 打印出，那是哪里打印出的呢？即验证了上述的代码，执行到一定次数后，JVM 会将异常替换为预构建的异常，导致打印出的异常信息中不含栈帧，确认该问题原因后，我在 JVM 配置选项中加上了。我们的flink程序，经常运行很久，可能运行很多天后发现报错了，错误不是致命错误的时候，偶然我发现日志里面打印了很多异常信息，但是却没有异常栈，如下。JVM 中关于这部分优化的源码位于。

2024-07-22 00:30:00 54

原创【java】Java类是怎么使用常量的

可以知道我们如果在IDEA中用到的类改变，那么IDEA会把相关的类，也重新编译一下，但是如果你的类是服务器上的，你如果直接替换包，或者类，那么引用他的类是不生效的。我们先反编译两个类看看，可以看到Constants类生效了，但是ConstantsUse类没有生效，里面还是修改后。为什么修改没有生效？是 Constants 类的问题，还是 ConstantsUse 类的问题？看到这里，原因也就明确了，常量变量会被编译进那些引用它们的类中。先看下面这个实验，我们先构建了一个常量类。

2024-07-22 00:15:00 400

原创【java】建议使用 java 枚举实现单例

在所有的单例实现方式中，枚举是一种在代码写法上最简单的方式，之所以代码十分简洁，是因为Java给我们提供了enum关键字，我们便可以很方便的声明一个枚举类型，而不需要关心其初始化过程中的线程安全问题，因为枚举类在被虚拟机加载的时候会保证线程安全的被初始化。除此之外，在序列化方面，Java中有明确规定，枚举的序列化和反序列化是有特殊定制的。这就可以避免反序列化过程中由于反射而导致的单例被破坏问题。

2024-07-21 00:30:00 335

原创【java】使用序列化与反序列化也同样会破坏单例

在涉及到序列化的场景时，要格外注意他对单例的破坏。

2024-07-21 00:15:00 408

原创【java】java序列化、ArrayList序列化、序列化策略

1、如果一个类想被序列化，需要实现Serializable接口。否则将抛出异常，这是因为，在序列化操作过程中会对类型进行检查，要求被序列化的类必须属于Enum、Array和Serializable类型其中的任何一种。2、在变量声明前加上该关键字，可以阻止该变量被序列化到文件中。3、在类中增加writeObject 和 readObject 方法可以实现自定义序列化策略。

2024-07-19 00:30:00 688

原创【java】Java的commons-collections反序列化漏洞

Apache Commons Collections是Apache Commons的组件，该漏洞的问题主要出现在org.apache.commons.collections.Transformer接口上。在Apache commons.collections中有一个InvokerTransformer实现了Transformer接口，主要作用为调用Java的反射机制来调用任意函数。影响组件版本：

2024-07-19 00:15:00 28

转载【java】java 类型擦除 type erasure

类型擦除），那么到底什么是类型擦除呢？类型擦除指的是通过类型参数合并，将泛型类型实例关联到同一份字节码上。编译器只为泛型类型生成一份字节码，并将其实例关联到这份字节码上。类型擦除的关键在于从泛型类型中清除类型参数的相关信息，并且再必要的时候添加类型检查和类型转换的方法。类型擦除可以简单的理解为将泛型java代码转换为普通java代码，只不过编译器更直接点，将泛型java代码直接转换成普通java字节码。类型擦除的主要过程如下： 1.将所有的泛型参数用其最左边界（最顶级的父类型）类型替换。

2024-07-19 00:15:00 20

原创【java】java jhat 命令堆转储，网页化展示

jhat 可以读取由 jmap 或其他工具生成的 Java 堆转储快照（.hprof 文件），并将其转换为 HTML 形式，以便在 Web 浏览器中查看和分析。如果你正在使用的是 JDK 8 或更早的版本，jhat 仍然是一个非常有用的工具。但在使用时，应当注意安全性和性能的影响，因为 jhat 启动的 HTTP 服务器默认是未加密的，且可能消耗较多的资源。例如，如果你需要更大的堆内存来运行 jhat，可以使用 -J-Xmx512m。接下来，使用 jhat 分析生成的堆转储文件。第一步：生成堆转储文件。

2024-07-19 00:15:00 251

原创【java】java DeleteOnExitHook

这个东西不重要，因为我基本不会使用，了解一下即可。

2024-07-18 02:15:00 28

原创【算法】删除有序链表中的重复元素、保留重复节点的一个

存在一个按升序排列的链表，给你这个链表的头节点 head，请你删除所有重复的元素，。返回同样按升序排列的结果链表。

2024-07-17 00:45:00 1178

原创【Spring】Spring 自定义 Validator 注解实现数据校验

本章节主要想使用注解失效Validator数据校验。

2024-07-17 00:30:00 189

原创【算法】JZ30 包含min函数的栈

定义栈的数据结构，请在该类型中实现一个能够得到栈中所含最小元素的 min 函数，输入操作时保证 pop、top 和 min 函数操作时，栈中一定有元素。示例1。

2024-07-16 00:30:00 552

原创【Spring】Spring Boot 集成 Zookeeper 结合AOP实现分布式锁

此 demo 主要演示了如何使用 Spring Boot 集成 Zookeeper 结合AOP实现分布式锁。

2024-07-16 00:15:00 160

原创【Spring】Spring 是怎么通过 Java 注解方式来实现 Web 和 Mvc、SpringServletContainerInitializer、

*** ①：1、创建Mvc初始化类，需要继承AbstractAnnotationConfigDispatcherServletInitializer类/*** springmvc容器的父容器spring配置类* 实际工作中我们的项目比较复杂，可以将controller层放在springmvc容器中* 其他层，如service层、dao层放在父容器了，bean管理起来更清晰一些* 也可以没有父容器，将所有bean都放在springmvc容器中* @return} /**

2024-07-14 00:30:00 287

原创【算法】旋转数组

给定一个数组，将数组中的元素向右移动上个位置，其中上是非负数。可能想出重多的解决方案，至少有三种不同的方法可以解决这个问题。你可以使用空间复杂度为0(1)的原地算法解决这个问题吗？

2024-07-14 00:30:00 24

原创【算法】旋转数组的最小数字

描述有一个长度为 n 的非降序数组，比如[1,2,3,4,5]，将它进行旋转，即把一个数组最开始的若干个元素搬到数组的末尾，变成一个旋转数组，比如变成了[3,4,5,1,2]，或者[4,5,1,2,3]这样的。请问，给定这样一个旋转数组，求数组中的最小值。数据范围：1 ≤ N ，数组中任意元素的值: 0 ≤ 100000要求：空间复杂度：O(1)，时间复杂度：O(logn)示例1示例2。

2024-07-13 00:30:00 37

原创【java】Java 中内存泄露的 8 种情况

可达性分析算法来判断对象是否是不再使用的对象，本质都是判断一个对象是否还被引用。那么对于这种情况下，由于代码的实现不同就会出现很多种内存泄漏问题（让 JVM 误以为此对象还在引用中，无法回收，造成内存泄漏）。

2024-07-13 00:15:00 38

原创【hadoop】hadoop 2.x HA 高可用

Hadoop 2.0之前，在HDFS集群中 NameNode 存在单点故障（SPOF）。对于只有一个NameNode 的集群，若NameNode 机器出现故障，则整个集群将无法使用，直到NameNode 重新启动。NameNode 主要在以下两个方面影响HDFS集群NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用。

2024-07-12 00:45:00 109

原创【hadoop】基于已有HDFS集群配置NN HA

可以把以前仅仅是Hdfs的配置的分布式，修改成HA的系统。

2024-07-12 00:45:00 31

原创【hadoop】短路读取， Short-Circuit Local Reads

HDFS中，读操作通常通过DataNode，因此，当一个客户端访问DataNode读一个文件的时候，DataNode从磁盘中读出该文件，然后通过TCK Socket发送到客户端。这在文件系统中是一个特别的路径，这允许客户端和DataNode来通信。因为这个原因，经常使用中/var/run or/var/lib的子目录的路径。因此，HDFS通常使用大量的本地读取，也就是说，读取数据的客户端和要读取的数据在同一节点。因为Hdfs在本地也存储了数据，现在要做的是下面红色的线，不经过namenode直接读取数据。

2024-07-12 00:30:00 24

原创【Spark】Sprak RDD 持久化

此外,每个持久化RDD可以使用不同的存储级别去存储,允许你,例如,存在磁盘上的数据集,在内存中保存它但序列化的Java对象(节省空间),跨节点复制它,或者将它存储堆超光速粒子。的 cache()方法是一个缩写使用默认的存储水平,这是 StorageLevel.MEMORY_ONLY(反序列化对象存储在内存)。它可以在内存中计算或从另外一个数据集中恢复它(或从其派生的数据集)。spark的缓存是高度容错的——如果RDD的任意分区丢失,它将自动重新计算使用最初创建的 transformations。

2024-07-11 00:45:00 30

原创【java】JVM 参数选项

32 位系统上，默认使用 Client 类型的 JVM。要想使用 Server 模式，机器配置至少有 2 个以上的 CPU 和 2G 以上的物理内存。Hotspot JVM 有两种模式，分别是 server 和 client，分别通过-server 和-client 模式设置。通过 java -version 命令：可以看到 Server VM 字样，代表当前系统使用是 Server 模式。64 位系统上，只支持 server 模式的 JVM，适用于需要大内存的应用程序，默认使用并行垃圾收集器。

2024-07-11 00:30:00 85

原创【算法】删除有序链表中的重复元素、不保留重复节点

存在一个按升序排列的链表，给你这个链表的头节点 head，请你删除所有重复的元素，使重复元素都删除。返回同样按升序排列的结果链表。相似，但是有一些区别。

2024-07-11 00:30:00 32

原创【Spark】Sprak 监控

请注意,此信息仅用于默认应用程序的时间。查看web UI,集 spark.eventLog.enabled启动应用程序之前为true。这个配置火花日志引发事件编码在UI中显示的信息持久化存储。您可以访问该接口通过开放 http://:4040在一个web浏览器。如果在同一主机上运行多个SparkContexts,他们将开始连续绑定到端口4040(4041、4042、等)。每一个SparkContext启动一个web UI,默认情况下在端口4040上,显示有用的关于应用程序的信息。

2024-07-11 00:15:00 20

原创【Spring】SpringBoot接收文件和对象

最近有个需求是写个接口，上传文件的时候，传递参数，然后因为好久没有对接前端了，一时间不知道怎么处理。使用场景：某个接口，需要同时接收文件和实体，也就是参数这个时候，前端就不能json格式传送数据了，要用到这种格式传送数据。那么，这个时候，后端应该怎样接收这个参数和文件呢？

2024-07-10 00:45:00 128

原创【Hbase】Hbase 源码编译

1.概述

2024-07-10 00:45:00 126

原创【Hbase】Hbase 常见问题处理

1.概述

2024-07-10 00:30:00 315

原创【算法】青蛙跳台阶、变态跳台阶

题目链接。

2024-07-10 00:15:00 87

原创【IDEA】idea Maven Cannot reconnect

将JDK for importer改为自己安装的jdk即可，瞬间起飞。然后一开始，我只能关掉idea再打开，再reload才不会报错。最近IDEA总是无法连接maven，然后引入的时候报错。后来发现解决的方案。

2024-07-09 00:45:00 351

原创【Hbase】Hbase 写入优化

当put请求高并发的时候。metaStore容易频繁写满，进而导致产生许多的store file，storeFile又会导致compation频繁。

2024-07-09 00:45:00 131

原创【Mybatis】#{}与${}区别、传参作为字段/表名

上面的第一个sql，非常有意思，执行居然不会抛错，可以正常执行(注意，这个与数据库版本有关，并不是所有的版本都可以正常执行)上面这个问题的关键原因在于 $ 与 #的本质区别，有过一点了解的小伙伴会知道$最终的效果是替换，而#则是占位。核心的依赖mybatis-spring-boot-starter，至于版本选择，到mvn仓库中，找最新的。上面的演示中，本来是希望根据传参进行排序，最后的执行结果会发现都是按照id进行排序。一个简单的demo来演示下使用姿势，根据传参，来指定排序的字段；

2024-07-09 00:30:00 129

原创【算法】青蛙跳台阶

跳 n 阶台阶，可以先跳 1 阶台阶，再跳 n-1 阶台阶；或者先跳 2 阶台阶，再跳 n-2 阶台阶。一只青蛙一次可以跳上 1 级台阶，也可以跳上 2 级。求该青蛙跳上一个 n 级的台阶总共有多少种跳法。

2024-07-09 00:30:00 25

原创【算法】在 O(1) 时间内删除链表节点

综上，如果进行 N 次操作，那么大约需要操作节点的次数为 N-1+N=2N-1，其中 N-1 表示 N-1 个不是尾节点的每个节点以 O(1) 的时间复杂度操作节点的总次数，N 表示 1 个尾节点以 O(N) 的时间复杂度操作节点的总次数。① 如果该节点不是尾节点，那么可以直接将下一个节点的值赋给该节点，然后令该节点指向下下个节点，再删除下一个节点，时间复杂度为 O(1)。② 否则，就需要先遍历链表，找到节点的前一个节点，然后让前一个节点指向 null，时间复杂度为 O(N)。

2024-07-09 00:30:00 402