3-日志平台-日志传输

日志采集：

流程	要做的事情
日志规范	固定字段定义 日志格式
日志采集	落盘规则 滚动策略 采集方法
日志传输	消息队列 消费方式 Topic规范 保存时间
日志切分	采样 过滤 自定格式
日志检索	索引分割 分片设置 检索优化 权限设置 保存时间
日志流监控	采集异常 传输异常 检索异常 不合规范 监控报警

各种规范对应的传输要求：

• Java应用对应的kafka

• 之前的kafka使用情况

为什么ELK的架构下要增加一个kafka？

1.袋鼠云，阿里云下的一个专门做日志的
2.斗鱼，使用kafka为了spark
3.饿了么，使用MQ为了做多活方案设计
4.新浪，为了spark做一些个性化的数据分析
5.华泰证券，为了做跨版本的升级，为了在日志里面集成metric，alert
6.阿里云，为了做实时数据和离线数据，日志聚合
7.苏宁，ES的river做kafka数据的清洗过滤
8.京东，前置应用索引创建策略，做流量均衡
9.网易，为了预估索引和分片
10.携程，做数据的parse，做failover之类的支持，做二进制压缩
11.B站，前置用于区分不同的日志，按照日志定级走不通的topic
12.百度，不知道这个kafka在里面干嘛，好像数据流的作用

对应的kafka集群

后续补充

topic名字

名字是根据logging_{项目名}