2401_85561292的博客

原创 基于kafka日志收集平台搭建项目报告

kfk3 作为消费者，对 Kafka 日志进行消费与数据处理，同时部署 ELK 技术栈实现日志的清洗存储、可视化检索分析，并使用 Celery 结合 Redis 做消息中间件进行定时监控，实现日志从生成、采集、传输、解析存储到可视化监控的全链路管理与服务状态可视化。规划项目拓扑，明确 kfk1（前端 Web / 日志生成）、kfk2（生产者）、kfk3（消费者 / 监控 / ELK 部署）的角色分工；配置 Celery 定时任务，结合 ELK 的日志数据实现日志分析、服务状态检测与告警；