ICC副本>>>>(logback+flume+kafka+storm系统)

日志监控系统(ICC副本)

前言:
大学的时代,美好的时代。认识了WOW~,不算是骨灰级玩家。(80级开始玩耍的..)
打过的FB里面觉得ICC副本最好玩..亡灵FS小菜比一枚..<PVP实在太LOW了..>,SO.打算把这套系统当做打FB来搞..


初步用来解决的问题:
1.为了成就~(目前项目的日志采用的 liunx grep命令,3分钟执行一次读取项目的日志。弊端:非实时,占用1个CPU,满满的100%~~)
2.好想要霜之哀伤..(接口项目现在需要调用别系统很多数据,然后将数据存到本地数据库。目前这两部操作是同步执行的.. 数据库IO存在瓶颈,打算把数据库的操作单独的拿到项目里面进行操作。)

人员配置: logback + flume + kafka + storm 

基本思路:

 1、logback 在项目中作为日志的输出,appender指向flume,主动推送日志

 2.、fluem作为日志收集块,将日志获取到之后。sink定向到不同的地方

 3、 flume的sink定向到kafka作为kafka的producer,发布一个topic

 4、strom的 spout 使用kafka的spout,订阅了kafka中发布的topic做为consumer,重写bolt作为逻辑的处理


刚开始搞~处于灭团中ing..进度完善的更新中...

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值