- 博客(6)
- 收藏
- 关注
RSS订阅原创 修改kafka适应多种格式上传
核心变化：从「仅支持上传消息」改为「支持任意类型消息」，通过抽象基类 + 通用方法实现；性能优化：多 Topic Writer 缓存，避免重复创建连接；兼容性：原有方法完全保留，无破坏性修改；可扩展：新增消息类型只需定义结构体，调用通用发送方法即可；稳定性：保留原有自动创建 Topic、重试、优雅关闭等核心能力。你可以直接替换原有代码，老业务（文件上传）无需改动，新业务（如 Prompt 任务）调用或通用方法即可。
2026-03-11 21:02:47
234
原创 后端状态追踪 + WebSocket 实时推送 + 前端页面展示
服务端实时推送消费状态到前端页面，后端状态追踪 + WebSocket 实时推送 + 前端页面展示
2026-03-02 14:44:01
350
1
原创 python虚拟环境
本文提供了完整的Python虚拟环境创建与使用流程。首先进入项目目录后，使用python3 -m venv venv创建虚拟环境，通过source venv/bin/activate激活环境（激活后命令行会显示(venv)标识）。然后在虚拟环境中安装项目依赖包，可使用pip install逐个安装或通过requirements.txt批量安装。最后可通过which python3和pip list验证环境是否生效。这套流程能有效隔离项目依赖，避免影响系统全局Python环境。
2026-03-02 13:44:25
126
原创 gravel
Goravel 中通过Filesystem组件配置temp本地磁盘，专门存储待 Kafka 消费的临时文件；文件上传时仅将元数据发送到 Kafka，文件本体保存到本地temp目录，消费完成后删除；必须配置定时清理任务，删除过期未消费的临时文件，避免磁盘容量耗尽。
2026-01-21 10:33:02
407
原创 Goravel连接kafka
核心流程：文件上传 → 保存到服务器 → 封装任务推送到 Kafka → 消费者异步处理文件，实现了接口和业务解耦。关键要点配置解耦：Kafka 连接信息通过配置文件 + 环境变量管理，便于环境切换；错误处理：上传失败 / 消息发送失败有回滚逻辑，消费失败有日志和偏移量提交机制；可扩展性：生产者 / 消费者封装为独立模块，便于后续扩展多 topic、多消费者。生产建议：消费者建议用 systemd/supervisor 守护进程，Kafka 配置消息确认机制（）确保消息不丢失。
2026-01-20 20:33:14
387
原创 Docker安装Kafka的详细步骤与实践指南
本文详细介绍了使用 Docker 部署 Kafka 的完整流程，从单节点到集群部署，从基础配置到生产优化。Docker 容器化部署不仅简化了 Kafka 的安装配置过程，还提供了良好的可移植性和扩展性。
2026-01-15 20:36:26
1196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人