老周聊架构-CSDN博客

原创聊聊 Kafka：如何避免消费组的 Rebalance

一、前言我们上一篇聊了 Rebalance 机制，相信你对消费组的重平衡有个整体的认识。这里再简单回顾一下，Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，Consumer Group 下所有的 Consumer 实例共同参与，在 Coordinator 协调者组件的帮助下，完成订阅主题分区的分配。但是，在整个过程中，所有实例都不能消费任何消息，因此它对 Consumer 的 TPS

2022-01-16 22:43:33 6852 1

原创聊聊 Kafka：编译 Kafka 源码并搭建源码环境

一、前言老周这里编译 Kafka 的版本是 2.7，为啥采用这个版本来搭建源码的阅读环境呢？因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢？比如 2.8，这是因为去掉了 ZooKeeper，还不太稳定，生产环境也不太建议使用，所以以 2.7 版本进行源码搭建并研究。二、环境准备JDK：1.8.0_241Scala：2.13.6Gradle：5.6.3三、环境搭建3.1 JDK 环境搭建这个就不用我说了吧，搞 Java 的本机都有 JDK 环境。3.2 Scala 环境搭建

2021-10-10 23:08:59 2449 2

原创聊聊 Kafka：在 Linux 环境上搭建 Kafka

一、环境准备jdk下载地址链接：jdk 1.8，提取码: dv5hzookeeper下载地址链接：zookeeper3.4.14 ，提取码: 3dchkafka下载地址链接：kafka2.12，提取码: 61bc1.1 Java环境为前提1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装# 安装命令rpm -ivh jdk-8u261-linux-x64.rpm 1.1.2 配置环境变量# 编辑配置文件,jdk的bin目录到/etc/profile文件，对所有

2021-08-18 00:31:31 4248 13

原创聊聊 Kafka： Kafka 的基础架构

一、我与快递小哥的故事一个很正常的一个工作日，老周正在忙着啪啪啪的敲代码，办公司好像安静的只剩敲代码的声音。突然，我的电话铃声响起了，顿时打破了这种安静。我：喂，哪位？快递小哥：我是顺丰快递的，你有个包裹，请问你现在在家吗？我：哦，我现在不在家，晚上你再帮我送过来吧。快递小哥：要不我帮你放在菜鸟驿站吧？我：可以可以，谢谢了。还好有菜鸟驿站，不然工作日加班到很晚才回家，晚上快递小哥又下班了，得等到周末我在家快递小哥才能帮我送了。如果没有菜鸟驿站的话，我们来看下快递小哥与我的交互图：要是有

2021-08-09 00:29:33 4891 25

原创一文读懂物联网 MQTT 协议之实战篇

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言上一篇我们介绍了 MQTT 协议格式以及相关的特性：一文读懂物联网 MQTT 协议之基础特性篇，这一篇我们就来实战一番，理论得与实践结合，方能吃透 MQTT。我的那个读者还提到了讲一下 Mosquitto，这是一款开源消息代理软件，提供轻量级的，支持可发布/可订阅的的消息推送模式，使设备对设备之间的短消息通信变得简单，比如现在应用广泛的低功耗传感器，手机、嵌.

2021-08-02 00:41:43 8209 23

原创一文读懂 Spring Bean 的生命周期

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言今天我们来说一说 Spring Bean 的生命周期，小伙伴们应该在面试中经常遇到，这是正常现象。因为 Spring Bean 的生命周期是除了 IoC、AOP 几个核心概念之外最重要概念，大家务必拿下。可 Spring 源代码又比较复杂，跟着跟着就不知道跟到哪里去了，不太好拿下呀。这倒是真的，而且网上一上来就各种贴流程源码，对初学者来说是真的一脸懵逼，就像字.

2021-07-18 23:52:34 123086 111

原创深入浅出 MyBatis 的一级、二级缓存机制

一、MyBatis 缓存缓存就是内存中的数据，常常来自对数据库查询结果的保存。使用缓存，我们可以避免频繁与数据库进行交互，从而提高响应速度。MyBatis 也提供了对缓存的支持，分为一级缓存和二级缓存，来看下下面这张图：一级缓存是 SqlSession 级别的缓存。在操作数据库时需要构造 SqlSession 对象，在对象中有一个数据结构（HashMap）用于存储缓存数据。不同的是 SqlSession 之间的缓存数据区（HashMap）是互相不影响。二级缓存是 Mapper 级别的缓存，多个 S

2021-07-12 21:14:25 1519 8

原创阿里二面：JVM 的三色标记算法你了解吗？

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言不得不说阿里的面试还是挺有质量的，这个问题直接问到了 JVM 的底层算法实现。在说 JVM 的三色标记算法之前，我们先来说下 JVM 对于常见对象存活判定算法与垃圾收集算法。常见对象存活判定算法有引用计数算法和可达性分析算法。引用计数法会产生循环引用问题，JVM 默认是通过可达性分析算法来判断对象是否存活的。而那些垃圾收集算法：标记-清除、标记-复制、标记-.

2021-06-30 00:03:59 1781 18

原创阿里二面：Redis 中的 AOF 文件太大了怎么办？

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言写这篇文章的目的是来自我的一位粉丝的投稿，说面试阿里被问到了这个问题。不得不说阿里的面试问的都挺有质量，一般的我们只会关注 Redis 的两种持久化方式 RDB 和 AOF。但老周这里盲猜面试的过程肯定也是先从持久化方式问起，然后循循渐进的问到 AOF 文件太大了怎么办？本着知其然知其所以然的态度，老周这里会带你从 RDB 和 AOF 的实现原理、各自的触发方.

2021-06-03 00:07:51 8949 17

原创我惊了！！！ThreadLocal 源码存在内存泄露的 Bug！！！

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言写这篇文章的目的是因为现在网上很多关于 ThreadLocal 的文章，很大一部分都不太准确。比如说：ThreadLocal 内部有个 map，键为线程对象；ThreadLocal 的数据结构是个数组；还有说 ThreadLocal 存在内存泄露，但里面的 get、set 以及 remove 方法能防止 ThreadLocal 内存泄露问题。都是.

2021-05-27 01:17:27 2556 41

原创 Redis中ZSet的底层数据结构跳跃表skiplist，你真的了解吗？

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言老周写这篇文章的初衷是这样的，之前项目中有大量使用 Redis 的 ZSet 数据结构来实现各种排行榜的功能。老周以前也写过关于跳表的数据结构，但那是纯数据结构方面来分析的，今天我们就来从跳跃表在 Redis 中的底层实现方向来分析。我们都知道 Redis 有五种常用的数据结构：String、Hash、List、Set 以及 ZSet，其中 ZSet 是 Re.

2021-05-17 01:56:51 5021 42

原创一文读懂线程池的实现原理

欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。一、前言上个月底群里的一个好朋友向老周提出啥时候分享 ThreadPoolExecutor 解析大全，我说后面会提上日程；然后前些天有读者也反馈说在面试中有被问到线程池，问我啥时候出一篇线程池相关的文章。今天老周就来安排一波线程池，现在很多公司都喜欢问线程池相关的面试题，为什么面试官这么热衷于问线程池相关的面试题呢？因为这是多线程的基础，ThreadPoolExecu.

2021-04-20 01:27:47 11830 34

原创 2w 字长文爆肝 JVM 经典面试题！太顶了！

如果你是中高级程序员，那我相信你一定被面试官问过JVM。下次再被问到JVM，你直接把老周的这篇文章丢给他吧！话不多说，让我们直接进入主题吧。JVM内存结构，常见异常，调优参数，调优工具和命令JVM的理解JVM内存为什么要分成新生代，老年代，持久代。新生代中为什么要分为Eden和Survivor。Minor GC ，Full GC 触发条件如何确定某个对象是“垃圾”？典型的垃圾收集算法常用的垃圾回收器有哪些, 特点是什么当出现了内存溢出，你怎么排错你们线上应用的JVM参数有哪些什么是内存泄

2021-04-12 22:06:32 3703 42

原创远程调用 Dubbo 与 Feign 的区别

一、相同点Dubbo 与 Feign 都依赖注册中心、负载均衡。二、区别1、协议Dubbo：支持多传输协议(Dubbo、Rmi、http、redis等等)，可以根据业务场景选择最佳的方式。非常灵活。默认的Dubbo协议：利用Netty，TCP传输，单一、异步、长连接，适合数据量小、高并发和服务提供者远远少于消费者的场景。Feign：基于Http传输协议，短连接，不适合高并发的访问。2、负载均衡Dubbo：支持4种算法（随机、轮询、活跃度、Hash一致性），而且算法里面引入权重的概

2020-09-23 22:02:21 35440 15

原创史上最全 SpringBoot 注解详解

一、注解(annotations)列表1、@SpringBootApplication包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让Spring Boot扫描到Configuration类并把它加入到程序上下文。2、@ComponentScan组件扫描，可自动发现和装配一些Bean...

2020-04-20 22:41:45 8713 9

原创史上最全 Lombok Features 注解详解

文章目录一、@Getter and @Setter二、@ToString三、@EqualsAndHashCode四、@AllArgsConstructor, @RequiredArgsConstructor and @NoArgsConstructor五、@Data六、@Value七、@Builder八、@Accessors九、@Slf4j and @Log4j十、@NonNull十一、@Sync...

2020-04-08 00:39:55 4929 4

原创 spring的controller是单例还是多例，怎么保证并发的安全。

答案：controller默认是单例的，不要使用非静态的成员变量，否则会发生数据逻辑混乱。正因为单例所以不是线程安全的。我们下面来简单的验证下：package com.riemann.springbootdemo.controller;import org.springframework.context.annotation.Scope;import org.springframew...

2019-07-29 23:48:06 28889 28

原创 Proxyee-down的下载与安装教程

这个工具的名字是 proxyee-down，是在 GitHub 上发现的，工具的地址是：https://github.com/proxyee-down-org/proxyee-down下载安装教程下wiki有：https://github.com/proxyee-down-org/proxyee-down/wiki/软件下载与运行本博客Proxyee-down版本为：2.54Proxy...

2019-04-13 00:04:23 26640 24

原创史上最全BATJ面试题精选附答案

目录JAVA基础JVM知识开源框架知识操作系统多线程TCP与HTTP架构设计与分布式数据结构与算法数据库知识消息队列缓存搜索JAVA基础String，Stringbuffer，StringBuilder的区。ArrayList和LinkedList有什么区别。什么是HashMap?用过哪些Map类，都有什么区别JAVA8的ConcurrentHashMap...

2019-01-17 21:51:03 2454 6

原创工具与 MCP：让 Agent 长出手脚

大模型天生只有一张嘴——吐 token。它能写诗、能推导，却摸不到数据库、点不了按钮、发不出邮件。问题不在模型笨，在于它和外部世界之间没有接口。工具（Tool）与 MCP 就是给 agent 接上的手脚：前者定义模型能调什么，后者定义这些能力跑在哪、怎么被发现。这篇文章把这两层机制拆到底，让你看清 function calling 究竟怎么发生，以及为什么把工具做对，比把模型调大更重要。

2026-10-21 18:53:11 176

原创中间件机制：PII 过滤、摘要压缩与人工介入

多轮对话一久，历史消息会无限涨，token 直接爆表，还挤占模型的有效注意力。当历史超过阈值，把最旧的若干条交给一个压缩模型生成摘要，用一条摘要消息替换它们。这是有损降维，不是无损存储。设计时必须回答三个问题：压哪些（通常最旧的）、留哪些（最近的 Few-shot 和当前轮）、压完往哪放（压缩结果要写回持久化历史，否则下一轮又从头涨）。self.max_messages = max_messages # 保留的最近消息条数。

2026-10-21 18:49:46 172

原创 create_agent 实战：一个 Agent 是怎么被组装出来的

写了这么久 Agent，我发现一个怪现象：很多人能把 Agent 跑起来，却说不清它到底是什么。问他 agent 由什么组成，他脱口而出"model + tools"，再追问"工具结果怎么回到模型里"，他就卡壳了。其实 Agent 没那么玄，它的全部秘密就是一句话——。LangChain 的 create_agent 做的事，不过是把这个循环标准化、可配置化。今天这篇文章，我们就把这个循环拆开，看清楚每一个齿轮，也看看那些自己手搓循环、最后线上跑飞的惨案。

2026-10-21 18:38:49 326

原创 LangSmith 入门：可观测性先于优化

你有没有过这种体验：上周线上一个 RAG 问答答得挺好，这周用同样的问法再问，回答却跑题了。你去翻日志，只看到一行 HTTP 200 和模型吐出的字符串，至于它当时检索了哪些文档、套了哪个版本的 prompt、为什么拐进那条工具调用路径，一律查不到。问题就出在这里——LLM 应用是，同样的输入在不同时刻、不同温度、不同检索结果下会产生不同输出。传统日志记的是"发生了什么"，而你需要的是"为什么发生"以及"每一步的中间态"。这正是可观测性要先于优化的根因：你没法优化一个看不见的过程。

2026-10-21 18:35:09 234

原创 LangChain v1.x 核心抽象与 LCEL：一切皆 Runnable

LangChain 在 1.x 时代做的最关键一件事，不是又塞进来多少新组件，而是把"组件"这个概念本身统一成了一个 Runnable。这一个抽象，让 prompt 模板、聊天模型、向量检索器、输出解析器全变成了同一类东西。上层编排从此不需要认识底下到底是什么，只要它长得像 Runnable，就能往管道里塞。这篇文章想把 Runnable 协议和 LCEL 的底层机制讲透，不去罗列 API 怎么调，而是回答它为什么这么设计、凭什么让一条管道不用写额外代码就自动获得流式、并行和 trace 能力。

2026-10-21 18:25:18 374

原创为什么需要 LangChain：从调 API 到搭应用的结构性鸿沟

很多工程师以为，接上 OpenAI 的 API、写个函数把问题丢进去、把回答吐出来，就算做了一个 AI 应用。我见过太多这样的"应用"：上线当天跑得挺好，加个意图识别就改了三个文件，想接知识库发现原来的字符串拼接全得重写。问题不在于模型不够聪明，而在于从"调一次 API"到"搭一个应用"之间，隔着一片你原本没打算写的胶水代码。

2026-10-12 18:24:25 350

原创领域模型进化：GRPO 强化学习与 Post-training Engineering

在通用 SFT + RLHF 之后，用领域数据再做一轮 SFT + 领域 RL，把能力锚定到具体场景：法律、医学、代码、金融、你公司的内部系统。这一步就是"领域智能体"和"通用聊天机器人"的分水岭。而领域 RL 用什么算法、奖励怎么来、怎么不训崩，正是 GRPO 要解决的。

2026-10-12 18:07:56 424

原创 Loop Engineering：多智能体协作架构内幕与最佳实践

把多个大模型塞进一个系统里，让它彼此对话、分工、反复确认，这几乎是当下所有"高级 Agent"产品背后的真实形态。但你如果真的动手搭过一套多智能体系统，很快就会撞上几个很朴素的问题：怎么把任务切给不同的 Agent？它们之间的上下文怎么传？谁来判定"这件事做完了"？出错的时候错误是在哪一层被放大的？这些问题的集合，我倾向于叫它。它本质上不是"怎么调 prompt"的问题，而是把传统的控制流、数据流、状态机，套在了带不确定性的大模型能力之上。

2026-10-12 17:59:42 208

原创企业级 AI 大脑：Hermes Agent 与 GBrain 及 Brain Computing

这一篇我想把"企业级 AI 大脑"这个被讲得很玄的词,拆到底层机制上。前面几篇我们聊了 Agent 的运行时、最后一公里、评估和多智能体协作,那些讲的都是单个 Agent 或者一群 Agent 怎么把一件事做成。今天换个尺度看问题,当一个企业里有几十上百个 Agent 同时干活,它们彼此之间靠什么连成"一个系统",而不是一堆互相不认识的临时工。

2026-10-06 12:57:25 317

原创自进化 AI 智能体：Learning Loop 与 Self-Improving 内幕

先问一个问题。你上线了一个 Agent，它今天犯了个错，你手把手给它改对了。明天它遇到同样的问题，还会犯吗？如果不会，说明这个 Agent 在"学"。如果会，那它本质上和你三个月前写的那段 if-else 没有区别，只是换了个更贵的概率外衣。这段时间我聊了不少做 Agent 落地的人，大家普遍卡在一个认知盲区：我们只花了力气让 Agent “能干活”，却很少有人认真设计它"怎么从干活里变好"。一个静态 Prompt 驱动的 Agent，部署那天是什么水平，半年后还是什么水平，用户骂了一万次它都不会改。

2026-10-06 12:13:44 427

原创智能体业务关键引擎：Agent Skills 与企业能力资产沉淀

很多企业找我做智能体落地咨询时，都会问同一个问题：模型能力已经够强了，为什么我们接了 API、写了 prompt、配了几个工具，智能体上线后还是像个一次性玩具，换个部门换个场景就废了？我的看法是，他们缺的不是模型，是「能力封装层」。prompt 是写给一次对话的，工具是模型伸手去够的外部动作，这两者之间，还隔着一层东西：一个能把「这个领域怎么干、用哪些脚本、查哪些文档、踩过哪些坑」整包打包、按需取用、还能跨团队复用的能力单元。

2026-10-06 12:05:55 367

原创 Laya 底层架构：33 毫秒做决策的双向编码器是怎么炼成的

当整个行业都在卷生成模型谁能聊得更像人，Laya 选了一条更工程化的岔路。它不是一个会写诗会编代码的大模型，而是一个基于 ModernBERT 双向编码器的决策引擎，明确不做文本生成，只做判断。输入一段状态加一组类型化问题，一次前向约 33 毫秒就吐出带校准概率的结构化结果，支持 100 多种语言，本地部署免费。据 Laya 官方给出的对比，它在准确率（76.6% 对 72.7%）和多语言覆盖上还压了闭源的 Jev 一头。

2026-10-04 16:36:02 359

原创智能体关键能力：LLM Evals 与生产级评估体系

企业里把 LLM 和 Agent 真正用起来，最难的从来不是把它跑通。最难的是回答两个朴素的问题：它现在到底行不行，以及我改完之后有没有变差。确定性软件能用单元测试加覆盖率把这两个问题答得明明白白。LLM 是概率系统，输出是开放文本，行为依赖 prompt、上下文、工具返回，甚至同一份输入两次采样都能给出不一样的答案。这里没有 oracle，没有"期望输出"可以硬编码。Evals 本质是给这套非确定性系统造一把可重复的标尺。我的看法很直接：评估不是上线后才补的功课，它是 Agent 工程的第一性原理。

2026-10-04 16:18:30 384

空空如也

空空如也