不体系
文章平均质量分 74
一些不成体系的,无法分类的,http,依赖工具包等
优惠券已抵扣
余额抵扣
还需支付
¥39.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
九师兄
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。也可以单独找我解决问题。
展开
-
【Flink】Flink 使用Arthas的trace命令排查问题 不打印方法栈
Flink 使用Arthas的trace命令排查问题,不打印方法栈,只打印了如下 Affect class count 1 method count 1。后面突然想我们这个流任务是没开启规则是不消费数据的,如果不消费数据,那么方法就不会执行,然后这里就无法监控到。开始遇到这个问题,我第一眼以为是我打错字了,然后来来回回排查了好几次都是正常的。然后有的迷糊了,后面我尝试其他pipline的类,执行发现是可以的。然后我尝试把所有的机器都测试一遍,发现结果是一样的。再次确认了,我找的机器确实是对的呀。原创 2024-03-19 23:30:00 · 83 阅读 · 0 评论 -
【http】10,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE]
经过测试最后发现是超时时间配置的太低了,改成50*1000就好了。原创 2023-09-17 10:01:42 · 640 阅读 · 0 评论 -
【IDEA】启动项目错误:Error:java: System Java Compiler was not found in classpath
Settings > java compiler > 将javac 改成 eclipse;以上操作完毕后发现都不行。最后重新修改了jdk的位置才可以。原创 2023-09-17 09:59:48 · 409 阅读 · 0 评论 -
【kafka】kafka 在 zookeeper中的元数据不对 broker漂移与缺失
kafka 在 zookeeper中的元数据不对 broker漂移与缺失,主要是说kafka中的节点元数据与zk中的元数据信息不对应,导致kafka出问题。原创 2023-09-17 09:59:14 · 237 阅读 · 0 评论 -
【IDEA】IDEA通过live template 对单行或者多行注释进行改写
我最近有个需求,我想在我注释的时候,对源码添加一些自己的标记,比如九师兄原创之类的,但是我不想自己每次都自己打字,因此想有一种快速添加的方法,然后就找到了这个方法。直接在设置里面搜索live新建组,再新建模板。原创 2023-09-17 09:58:22 · 196 阅读 · 0 评论 -
【Zookeeper】Unable to read additional data from client sessionid xx likely client has closed socket
异步创建节点的时候总是闪退,然后服务端报错 Unable to read additional data from client sessionid xxx, likely client has closed socket ,我们先看下代码 这里我把同步跟异步的代码一起贴了出来便于学习。网上还有很多关于这个错误的解决方案,场景不同,但大多数的原因都是因为网络中断,有的可能是超时时间不够,我这里的原因是在异步通知返回结果之前就人为的结束了连接。原创 2023-09-04 20:33:53 · 1158 阅读 · 0 评论 -
【zookeeper】fsync-ing the write ahead log in took which will adversely effect operation latency
在这篇博客中出现了如下。我想知道这个是在干嘛,会不会对我上面的那个问题造成影响。因此去查看了一下。原创 2023-08-26 11:54:22 · 558 阅读 · 0 评论 -
【不体系】log4j2.xml 配置详解
2、在web.xml中配置log4j2的信息3、配置mybatis,中使用log4j2打印sql日志。原创 2023-07-21 20:14:35 · 331 阅读 · 0 评论 -
【算法】LSM-tree 基本原理及应用
LSM-tree 在 NoSQL 系统里非常常见,基本已经成为必选方案了。今天介绍一下 LSM-tree 的主要思想,再举一个 LevelDB 的例子。LSM-tree起源于 1996 年的一篇论文《The Log-Structured Merge-Tree (LSM-Tree)》,这篇论文 32 页,我一直没读,对 LSM 的学习基本都来自顶会论文的背景知识以及开源系统文档。今天的内容和图片...原创 2020-07-04 11:42:10 · 2868 阅读 · 2 评论 -
【RocksDB】RocksDB -- MANIFEST 浅析
RocksDB 是文件系统与存储介质无关的。文件系统的操作不具有原子性,可能会由于意外情况,导致 RocksDB 出现不一致的问题。即使打开了日志记录,文件系统也不能保证不洁重启的一致性。POSIX 文件系统也不支持原子的操作批处理。因此,在 RocksDB 重新启动时,仅仅依赖 RocksDB 数据存储文件中的元数据来重建最后的一致状态是不现实的。RocksDB 拥有一个内置的机制来克服上述 POSIX 文件系统的限制,即 MANIFEST。转载 2023-03-27 13:11:13 · 681 阅读 · 0 评论 -
【zookeeper】一台机器上最多能启动多少个ZooKeeper客户端
在zk客户端上可能会运行一个Java开发的零碎去应用zk,比如说Kafka(尽管是Scala写的,也是JVM类的语言),HBase,Canal,HDFS,比如说Canal比方部署在一台机器上,此时他会去应用zk,他就是一个zk的客户端。所以如果咱们本人开发一个零碎去应用zk的话,一台机器上,你个别是就用一个zk客户端去跟zk servers进行交互就能够了,不要无限度的搞很多的zk客户端,会连贯不下来的,他zk servers最多只能容许你的一台机器跟他建设60个连贯。这个是有限度的,默认来说60;原创 2023-02-25 09:59:21 · 707 阅读 · 0 评论 -
【Docker】 docker 命名空间(namespaces)
Docker 的出现一定是因为目前的后端在开发和运维阶段确实需要一种虚拟化技术解决开发环境和生产环境环境一致的问题,通过 Docker 我们可以将程序运行的环境也纳入到版本控制中,排除因为环境造成不同运行结果的可能。但是上述需求虽然推动了虚拟化技术的产生,但是如果没有合适的底层技术支撑,那么我们仍然得不到一个完美的产品。本文剩下的内容会介绍几种 Docker 使用的核心技术,如果我们了解它们的使用方法和原理,就能清楚 Docker 的实现原理。原创 2023-01-28 08:17:56 · 1027 阅读 · 1 评论 -
【zookeeper】zookeeper 简单介绍
Zookeeper 是一个分布式协调服务,可用于服务发现,分布式锁,分布式领导选举,配置管理等。Zookeeper 提供了一个类似于 Linux 文件系统的树形结构(可认为是轻量级的内存文件系统,但只适合存少量信息,完全不适合存储大量文件或者大文件),同时提供了对于每个节点的监控与通知机制。原创 2023-01-25 20:51:15 · 385 阅读 · 0 评论 -
【Hbase】Hbase 一些面试题
经历过这些事的人都知道过程是多么的折腾。② HFile HFile 是数据底层存储文件,在每个 memstore 进行刷新时会生成一个 HFile,当 HFile 增加到一定程度时,会将属于一个 region 的 HFile 进行合并, 这个步骤会带来开销但不可避免,但是合并后 HFile 大小如果大于设定的值,那么 HFile 会重新分裂。就会存储到一个 region中,这样一个 region 的数据变多,其它的 region 数据很少,加载数据就会很慢, 直到 region 分裂,此问题才会得到缓解。原创 2023-01-21 19:53:04 · 445 阅读 · 0 评论 -
【zookeeper】zookeeper源码 zookeeperz中Kerberos认证流程
本次想做zk的kerberos认证,打算调试一下测试案例的代码如下try {//设置 zk 的 principal System . out . println(System . getProperty("java.security.auth.login.config"));try {System . out . println("准备添加监听");System . out . println("添加监听完毕");} }添加监听。原创 2022-11-03 09:53:55 · 338 阅读 · 0 评论 -
【zookeeper】zookeeper 如何 关闭 kerberos认证 Exception while determining if ZooKeeper is secure
【zookeeper】zookeeper源码 zookeeperz中Kerberos认证流程我们设置了.jaas文件和keytab文件。然后就认证成功了};.};.};.};.};.};然后后来要关闭zk认证。【zookeeper】zookeeper源码 zookeeperz中Kerberos认证流程设置了如下参数,然后别人的服务就可以了但是我的服务不可以。查看报错是经过查看是kafka报错这里首先获取系统变量是不是为true。然后获取是不是Client,如果。原创 2022-10-30 19:16:22 · 749 阅读 · 0 评论 -
【zookeeper】zookeeper 性能优化与配置详解 一些踩坑建议
ZooKeeper的功能特性通过ZooKeeper配置文件来进行控制管理( zoo.cfg配置文件)。ZooKeeper这样的设计其实是有它自身的原因的。通过前面对ZooKeeper的配置可以看出,对ZooKeeper集群进行配置的时候,它的配置文档是完全相同的(对于集群伪分布模式来说,只有很少的部分是不同的)。这样的配置方使得在部署ZooKeeper服务的时候非常地方便。另外,如果服务器使用不同的配置文件,必须要确保不同配置文件中的服务器列表相匹配。转载 2022-09-15 22:12:29 · 4833 阅读 · 0 评论 -
【FastJson】fastjson序列化保持字段顺序、集合类型乱序
在使用 fastjson 将对象序列化成字符串时,发现字段顺序乱了,百度搜了一下,发现原因是将字符串反序列化(即转成JSON对象)时,被默认规则处理了。如果不想使用默认规则,就需要我们指定需要的规则,这里我们可以使用 Feature.OrderedField 来使其保持原有字段顺序。,字面意思就是 以最快速度为字段进行排序。原创 2022-08-20 10:43:18 · 4281 阅读 · 1 评论 -
【guava】guava 范围集合查询 RangeMap
RangeMap是。和RangeSet不一样,RangeMap不可以将相邻的区间合并,即使这个区间映射的值是一样的。和RangeSet一样,实现RangeMap也是一个接口,实现它的也只有两个类,分别为和。用的多的还是,下面主要以TreeRangeMap来说明RangeMap。从结果中可以看出,RangeMap中的每一个Range都对应一个value。注意观察运行的结果,是没有被合并的!这是RangeMap和RangeSet的一个区别。原创 2023-07-01 09:59:41 · 206 阅读 · 0 评论 -
【缓存】一种新的缓存 Caffeine Cach 介绍
GuavaCache,他的优点是封装了get,put操作;提供线程安全的缓存操作;提供过期策略;提供回收策略;缓存监控。当缓存的数据超过最大值时,使用LRU算法替换。。本篇博文主要介绍CaffineCache的使用方式,以及CaffineCache在SpringBoot中的使用。...转载 2022-07-16 12:06:17 · 350 阅读 · 0 评论 -
【zookeeper】ZooKeeper常见问题
命名服务就是」**命名服务是指通过「指定的名字」来获取资源或者服务地址。Zookeeper可以创建一个「全局唯一的路径」,这个路径就可以作为一个名字。被命名的实体可以是「集群中的机器,服务的地址,或者是远程的对象」等。一些分布式服务框架(RPC、RMI)中的服务地址列表,通过使用命名服务,客户端应用能够根据特定的名字来获取资源的实体、服务地址和提供者信息等。「配置管理」实际项目开发中,我们经常使用.properties或者xml需要配置很多信息,如数据库连接信息、fps地址端口等等。哈哈,...转载 2022-07-15 22:19:17 · 857 阅读 · 0 评论 -
【zookeeper】zookeeper的ACL权限控制
1.概述ACL:Access Control List 访问控制列表关联文章:【zookeeper】ZooKeeper 权限管理与Curator增加权限验证关联文章:【kafka】kerberos client is being asked for a password not available to garner authentication informa1.1 简介ACL 权限控制,使用:scheme:id:perm 来标识,主要涵盖 3 个方面: 权限模式(Scheme):授权的转载 2022-05-10 20:53:41 · 2395 阅读 · 0 评论 -
【zookeeper】ZooKeeper 权限管理与Curator增加权限验证
在ZooKeeper中,可以为节点设置权限,这样只有用户对应权限的客户端才能访问到指定的节点。原创 2022-03-02 21:00:32 · 760 阅读 · 0 评论 -
【zookeeper】raft 共识算法 动画演示 网站
1.概述地址:https://cyberdak.github.io/thesecretlivesofdatacn/raft/原创 2022-02-09 23:05:41 · 2091 阅读 · 0 评论 -
【zookeeper】zookeeper 选举 源码解读
文章目录1.概述2. startLeaderElection2.1 createElectionAlgorithm2.2 createCnxnManager2.3 listener.start3.创建选举算法FastLeaderElection3.1 starter4.开始选举 super.start1.概述今天除夕夜,卷了 一整天,这是我第七个年头除夕夜还在学,今天卷到跨年夜。视频:zookeeper 源码解读上一篇文章:【zookeeper】zookeeper 启动 源码解读2. star原创 2022-02-01 00:00:09 · 2586 阅读 · 1 评论 -
【zookeeper】zookeeper 启动 源码解读
文章目录1.概述2.QuorumPeerMain3.单机模式4. 集群模式4.1 createFactory4.2 getQuorumPeer4.3 LearnerType4.4 start4.4.1 loadDataBase4.4.1.1 loadDataBase4.4.1.2 lastProcessedZxid4.4.2 cnxnFactory.start4.4.3 startLeaderElection今天除夕夜,卷了 一整天,这是我第七个年头除夕夜还在学,今天卷到跨年夜。1.概述视频:zoo原创 2022-01-31 23:59:59 · 243 阅读 · 0 评论 -
【zookeeper】zookeeper 源码解读
文章目录1.概述2. 序列化-反序列化2.1 index3. zookeeper的持久化机制3.1 SnapShot4.网络通讯框架5. watcher监听机制1.概述视频:zookeeper 源码解读2. 序列化-反序列化这个接口跟hadoop的相关接口,很像。/** * Interface that is implemented by generated classes. * * 如果在zookeeper中,某些类需要进行序列化以及反序列化,都需要实现这个接口 * */@In原创 2022-01-31 14:35:35 · 546 阅读 · 0 评论 -
【zookeeper】zookeeper 应用场景 解密
文章目录1.概述2.应用案例2.1 发布/订阅2.2. 命名服务2.2.1 案例2.3 配置管理2.3.1 需求背景:2.4 集群管理2.5 分布式锁2.5.1 写锁实现思路2.6 队列管理2.7 负载均衡1.概述视频:zookeeper znode 存储系统解密上一篇文章:【zookeeper】zookeeper 的监听机制2.应用案例2.1 发布/订阅应用服务器集群可能存在两个问题:因为集群中有很多机器,当某个通用的配置发生变化后,怎么自动让所有服务器的配置同-生效?当集群中某个原创 2022-01-30 23:09:17 · 861 阅读 · 0 评论 -
【zookeeper】zookeeper 的监听机制
文章目录1.概述1.概述视频:zookeeper znode 存储系统解密上一篇文章:【zookeeper】zookeeper znode 存储系统解密许多大数据组件都依赖zk做监听。1、HDFS的active anemnode 利用zookeper的 监听机制2、Kafka、 hbase的节点和数据分区/副本的上下线强依赖zookeeper,某些角色关心集群的某些变化,如果发生这些变化,就用增删改znode的形式来表示客户端注册监听它关心的目录荐点,当目录节点发生变化(数据改变、节点原创 2022-01-30 21:50:50 · 793 阅读 · 0 评论 -
【zookeeper】zookeeper znode 存储系统解密
1.概述视频:zookeeper znode 存储系统解密zookeeper的文件系统:树形结构没有了文件夹和文件的区别,就叫做znode (既可以认为是文件,也可以认为是文件夹,也可以认为不是文件,也可以认为不是文件夹) :这个znode既能挂载子节点,也能存储数据ZooKeeper的命名空间就是ZooKeeper应用的文件系统,它和Linux的文件系统很像,也是树状,这样就可以确定每个路径都是唯一的, 对于命名空间的操作必须都是绝对路径操作。与Linux文件系统不同的是, Linux .原创 2022-01-30 21:16:27 · 387 阅读 · 0 评论 -
【kerberos】kerberos 认证 详情介绍
1.概述本文章是视频:Kerberos认证详解 笔记。Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中。了 解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。Kerberos解决什么问题?简单地说,Kerberos提供 了- -种单 点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务器和文件服务器。这些服务器都有认证的需求。很自然的,不可能让每个服务器自己实现-原创 2022-01-17 20:42:36 · 3889 阅读 · 0 评论 -
【安全】Kerberos相关问题进行故障排除| 常见错误和解决方法
1.概述转载 为了学习:Kerberos相关问题进行故障排除| 常见错误和解决方法2.总结可以用来帮助诊断Kerberos相关问题的原因并实施解决方案的指南。3. 症状单击症状链接转到相应的疑难解答部分。2.1 Kerberos tgtjavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: F.转载 2022-01-07 20:04:13 · 26196 阅读 · 0 评论 -
【不体系】布谷鸟过滤器
1.概述转载:https://mp.weixin.qq.com/s/HVb0g6w37gvn307DrnVtTg为解决布隆过滤器不能删除元素的问题,布谷鸟过滤器横空出世。论文《Cuckoo Filter:Better Than Bloom》作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言,布隆过滤器有以下不足:查询性能弱空间利用效率低不支持反向操作(删除)不支持计数。查询性能弱 是因为布隆过滤器需要使用多个 hash 函数探测位图中多个不同的位点,这些位点在内存上跨.转载 2022-01-05 22:10:39 · 946 阅读 · 3 评论 -
【Https】keytool 导入证书到 本地 Exception: Input not an X.509 certificate
1.背景首先参考这篇文章:【Spring】Spring Boot 支持 Https根据这篇文章生成了这个文件,然后根绝这个文件想导入到java环境中。之所以想导入是因为报错了这个【Http】PKIX(PKIX path building failed) 问题 unable to find valid certification path to requested targetk开始以为是证书的原因。[rootel security]# ../../../bin/keytool - import .原创 2020-07-07 20:20:18 · 1795 阅读 · 0 评论 -
【janio】janio ClassBodyEvaluator 的使用
参考:https://blog.csdn.net/dycsos123/article/details/99695574原创 2021-09-06 21:37:52 · 564 阅读 · 0 评论 -
【分布式ID】理解Snowflake算法的实现原理
1.概述转载:冷饭新炒:理解Snowflake算法的实现原理我上次也看了一个视频讲解:【分布式ID】键高并发 分布式 全局唯一 ID 雪花算法 snowflake2.前提#Snowflake(雪花)是Twitter开源的高性能ID生成算法(服务)。上图是Snowflake的Github仓库,master分支中的REAEMDE文件中提示:初始版本于2010年发布,基于Apache Thrift,早于Finagle(这里的Finagle是Twitter上用于RPC服务的构建模块)发布,而Twitte转载 2021-08-01 08:47:42 · 521 阅读 · 0 评论 -
【SQL】血缘解析 SQL parser 工具介绍
1.概述2. git大数据解析:https://github.com/0xqq/bigdata-sql-parser原创 2021-08-01 08:45:44 · 2120 阅读 · 0 评论 -
【janio】janio 官网 翻译 Janino 是一个超小、超快的 Java 编译器
1.概述翻译:http://janino-compiler.github.io/janino/#janino-as-a%20compilerJanino 是一个超小、超快的 Java 编译器。Janino不仅可以像JAVAC一样将一组源文件编译成一组类文件,还可以 在内存中编译 一个Java表达式、 一个块、 一个类体、 一个.java文件或 一组.java文件,加载字节码并直接在同一个JVM中执行。JANINO 与 Apache Commons JCI(“Java 编译器接口”)和 JBoss .原创 2021-07-30 19:49:34 · 700 阅读 · 0 评论 -
Bing搜索核心技术BitFunnel原理
1.概述转载:Bing搜索核心技术BitFunnel原理导语 从90年代中期开始,人们普遍认识,对于内容索引来说,文件签名技术比反向链接效果更差。最近几年必应搜索引擎开发与部署了一套基于位分割的标签索引。这种索引(也称BitFunnel)替代了之前的基于反向索引的生产系统。这项转移背后驱动的因素是反向链接需要运转存储代价。本篇内容将讲述这项算法上的创新发明,改变传统上在云计算框架上被认为无法使用的技术。BitFunnel算法直接解决四项基础位分割块签名的限制。同时,算法的映射进入集群提供了避免和其他.转载 2021-07-14 22:33:13 · 514 阅读 · 0 评论 -
【Groonga】Groonga 简介
1.概述翻译:https://groonga.org/docs/characteristic.html1.1. Groonga 概述Groonga 是一个基于倒排索引的快速准确的全文搜索引擎。Groonga 的特点之一是新注册的文档会立即出现在搜索结果中。此外,Groonga 允许在没有读锁的情况下进行更新。这些特性导致实时应用程序的卓越性能。Groonga 也是一个面向列的数据库管理系统 (DBMS)。与众所周知的面向行的系统,如 MySQL 和 PostgreSQL 相比,面向列的系统更适合聚.原创 2021-07-10 14:18:25 · 375 阅读 · 0 评论