qq_36481693的博客

原创 gRPC性能优化：HTTP/2与Protobuf解析

本文系统梳理了gRPC框架的核心要点与应用场景。首先对比了主流RPC框架（gRPC、Dubbo、brpc）的优缺点及适用场景，指出选型需考虑团队技术栈、性能要求、服务治理等因素。重点解析了gRPC的高性能原理：基于HTTP/2的多路复用、二进制分帧、头部压缩等特性，以及Protobuf的编码优势。详细介绍了四种通信模式的应用场景，并深入探讨Protobuf使用技巧，包括字段优化、默认值处理等。最后对比了protoc-gen-go与protoc-gen-go-grpc的差异，并简要说明拦截器机制。全文兼顾理论

原创 redis 源码学习笔记

Reactor 模式是一种处理高并发I/O事件的模式，其核心思想是**用一个线程（或少量线程）监听所有事件，当某个事件就绪时，就分发给对应的处理函数（Handler）来处理**没有一步路是白走的这句话真实的刻画了跳表的查找过程跳表是一种基于链表的有序数据结构，通过给链表添加多层索引实现快速查找和删除，平均时间复杂度是O（log N）。需要注意一点:这里说的链表是单项链表和双向链表的结合。

原创 gin 框架深度学习之路

最近准备面试的时候发现很多职位的描述都说要熟悉gin，我一直没搞懂，什么样才算熟悉？不知道我下面的内容算不算到了熟悉gin的阶段？我理解能搞懂gin的context，route 和middleware三大组件就算是熟悉gin了。创建engin有两种方式new() 函数Default()函数主要是这个Default（）在创建的时候会添加两个中间件Logger()和Recovery()以后调用New（）这个engin 其实除了gin.Contex{}意外没什么说的。下面这部分马上要说了。

原创 GO个人笔记

但是在写多的场景下，read map缓存会失效，需要加锁，性能会急剧下降。在GMP的模型中实现了work stealing的算法，如果P队列为空，则会先从全局队列中或者其他P的本地队列中窃取后半部分（后半部分竞争冲突小），以防止P空转导致的资源浪费。P在获取G的时候先从P的本地队列进行无锁获取，减少锁竞争，其次是从全局队列进行获取，最后从其他的P里窃取，让处理器尽量的CPU资源使用均衡。内存复用：分配的内存释放后，不会立即归还给操作系统，而是被 Go 运行时缓存起来，用于后续的分配请求，减少系统调用。

原创 MySQL 面试总结

数据怎么存储在磁盘上怎么安全（加锁/事务）快速（索引）的读写数据是否支持事务，外键以及索引的方式。

原创 redis 的面试点总结

对于大key redis没有一个显示的定义，只是一个通用术语，用来描述那些在存储和性能方面可能引起问题的键。常见的有字符串，列表哈希表或集合key 本身的数据量过大：一个string类型的key他的值有1Mbkey中成员数量过多：一个zset类型的key成员数量超过10kkey 中成员的数据量过大：一个hash类型的key成员数量虽然只有1k，但是这1k成员的总的value为100Mb。

原创 mac 配置多架构编译镜像

【代码】mac 配置多架构编译镜像。

原创 ssh终端管理多个k8s集群，快速切换配置

有时候你的contexts.contexts.cluster 可能会一样，这时候需要修改一下这个名称，名字可以随便修改只要不一样即可。

原创 将sdb 硬盘格式化成4个100Gb 的xfs格式的分区 剩下的容量单独做一个大的分区

【代码】将sdb 硬盘格式化成4个100Gb 的xfs格式的分区 剩下的容量单独做一个大的分区。

原创 查看druid segments堆积

原创 修改k8s认证为100年

k8s 从1.32版本有一个大的变化，想把认证设置100年再也不需要修改源码重新编译了只要在kubeadm-init.yaml 添加如下配置就能生效了。

原创 prometheus联邦集群指标出现同时出现thanos_ruler_replica 和prometheus_replica 从而导致frafana 查询found duplicate series

grafana查询的时候显示如下。

原创 thanos-query查询不到下采样的指标数据

本文介绍排查grafana 上查询不到 thanos 的下采样数据解释说明：1. thanos 是通过oci://registry-1.docker.io/bitnamicharts/thanos helm repo部署的2. prometheus和grafana 是通过kube-prometheus-stack 部署的3. 我们当时的问题是只能查询最近5天的数据，再往后就显示nodata4. 开始以为是数据的问题，后来发现是有个参数默认不是不加载下采样数据的（

原创 centos 9/ubuntu 一次性的定时关机

【代码】centos 9/ubuntu 一次性的定时关机。

原创 linux系统测试网络pps、带宽和延时(方案来源于阿里云)

此方案来源于。

原创 mysql按照某个字段分区提示（A PRIMARY KEY must include all columns in the table‘s partitioning function）

数据库创建的时候只有默认id作为主键，后期想按照某个字段进行分区。默认情况下主键必须包含分区键才可以进行分区。这时候修改主键是一个比较复杂额度操作。我们可以通过一个参数进行设置。让数据服务器忽略检查分区键是否包含在主键内。在配置ENGINE=InnoDB 的后面添加。

原创 使用strimzi-kafka-operator 的mirrormake2(mm2)迁移kafka集群，去掉目标集群的topic默认前缀

使用mm2进行kafka集群迁移的时候默认配会给target 集群的topic加一个前缀。要想去掉前缀需要使用如下配置添加一条副本策略(replication.policy.class: “org.apache.kafka.connect.mirror.IdentityReplicationPolicy”)。

原创 k8s怎么找到占用磁盘空间较大的pod

【代码】k8s怎么找到占用磁盘空间较大的pod。

原创 pip install beautifulsoup4 报错

pip 安装失败报错如下demo: > pip install beautifulsoup4 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate veri

原创 ubuntu系统设置日志滚动更新设置

接到一个新任务：集群上经常出现磁盘压力的报警的问题磁盘一般分为两类。

原创 k8s快速切换namespace

【代码】k8s快速切换namespace。

原创 国内Ubuntu 24.04安装k3s

curl –sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -s - --system-default-registry “registry.cn-hangzhou.aliyuncs.com”

原创 prometheus federation 配置指标抓取

prometheus 通过helm chart部署在k8s 集群上，因为很长时间没有升级了，目前计划在原来的基础上添加一个联邦功能，以让多个Prometheus的集群能统一报警配置和grafana展示。

原创 数据库服务器CPU被打满解决过程

【代码】数据库服务器CPU被打满解决过程。

原创 prometheus node_exporter在ubuntu 22.04 上通过systemd管理生命周期

把node_exporter可执行文件放到/usr/local/bin/node_exporter，并给可执行权限。

原创 Ubuntu 22.04 配置普通用户免密进入root

从网上搜一下就能解决，但是网上说修改/etc/sudoers 就好了，但是我修改完为什么sudo -i 的时候还要我输入密码呢？后来我发现是我添加的位置不对，需要加到下面的位置才可以。如果添加在%sudo上面是不生效的。这里只是记录一下自己才过的坑。

原创 ubuntu 22.04 配置docker registry

【代码】ubuntu 22.04 配置docker registry。

原创 Wireshark的一个小技巧——迅速找到经过TLS加密过的域名

tls.handshake.type == 1 tls 可以用这个表达式查找 client hello 的请求，这个还在tls 握手初步阶段，包含有域名信息。

原创 磁盘IO的读写，延迟测试

【代码】磁盘IO的读写，延迟测试。

原创 mac开发环境cd到某个项目自动执行环境变量

在项目的根目录下创建一个.envrc文件在这个文件里面执行你想初始化的命令和参数执行direnv allow

原创 由于hbase 丢快导致的 hadoop yarn 客户端提交作业失败

由于存储丢快导致的allTopos.length 为0，直接导致数组越界。

原创 go channel的一些边缘知识以及常规操作：go 的nil chan

有缓冲的chan，无缓冲的chan nil chan的操作

原创 hadoop yarn的主备切换 yarn rmadmin主备切换的时候为什么备不能立即升为主？yarn的双备问题

yarn 主备切换相关问题

原创 关于hadoop yarn主备切换，resourcemanager不能正常启动的重大事故

hadoop 3.3.6 yarn主备不能正常切换问题发现与解决方案

原创 设计一个协程池需要注意哪些地方？

协程池

原创 k8s，修改configmap怎么样动态生效

在刚开始学习和使用k8s的时候，当你的配置变更的时候，每次都要手动kill掉所有的pod，让他重建去加载新的配置。对于k8s 这种后来居上的分布式调度系统难道这么不智能？难道别人就没有这个需求，不太可能吧。开源这么流行就没有人做，不太可能吧。于是就开始各种调研（搜索），找到一种方式可以满足我的需求。(Reloader)[https://github.com/stakater/Reloader]项目就是专门做这个事情的。

原创 Ubuntu 关闭非交互式安装软件

clickhouse 非交互式安装

原创 jvm的OOM和系统的OOM一样吗?如果不一样有什么区别?

JVM的OOM和系统的OOM不是一个东西

原创 Ubuntu 交叉编译的时候CGO_ENABLED=1 报错 ubuntu _cgo_export.c:3:10: fatal error: stdlib.h

Ubuntu 交叉编译的时候CGO_ENABLED=1 报错 ubuntu _cgo_export.c:3:10: fatal error: stdlib.h。

原创 Hadoop yarn 作业长尾，从那些角度去入手

由降本增效引起了一系列的动作，其中之一就是提升资源利用率，长尾为什么会占用资源呢？想想下面几个问题。