kafka可视化界面kibana_kafka日志同步至elasticsearch和kibana展示

一 kafka consumer准备

前面的章节进行了分布式job的自动计算的概念讲解以及实践。上次分布式日志说过日志写进kafka，是需要进行处理，以便合理的进行展示，分布式日志的量和我们对日志的重视程度，决定了我们必须要有一个大数据检索，和友好展示的需求。那么自然就是elasticsearch和kibana，elasticsearch是可以检索TB级别数据的一个分布式NOSQL数据库，而kibana，不仅仅可以展示详情，而且有针对不同展示需求的功能，并且定制了很多很多日志格式的模板和采集数据的插件，这里不多介绍了，我自己感觉是比percona的pmm强大很多。

书归正传，我们这一节是要做同步前的准备工作。第一，对kafka的consumer进行封装。第二,读取kafka数据是需要一个后台程序去处理，但是不需要job，我们上次做的框架是基于zookeeper的分布式job，而kafka的分布式是在服务器端的，当然将job分布式设计方案用在轮询或者阻塞方式的后台程序，也是可以的，但是这次就不讲解了。下面我们就将kafka分布式的原理分析下，kafka的客户端有一个组的概念，borker端有一个topic的概念，product在发送消息的时候，会有一个key值。因为kafka存数据就是以key-value的方式存储数据的，所以broker就是用product传递过来的这个key进行运算，合理的将数据存储到某个topic的某个分区。而consumer端订阅topic，可以订阅多个topic,它的分派是这样的，每一个topic下的分区会有多个consuer，但是这些consumer必须属于不同的组，而每一个consumer可以订阅多个topic下的分区，但是不能重复。下面看图吧，以我们这次实际的日志为例，在kafka中mylog topic有5个分区。

那么如果我们有三个程序需要用这个mylog topic怎么办？而且我们需要很快的处理完这个数据，所以有可能这三个程序每一个程序都要两台服务器。想着都很头大，对吧？当然如果有我们前面讲解的分布式job也可以处理，但是要把分布式的功能迁移到这个后台程序，避免不了又大动干戈，开发，调试，测试，修改bug，直到程序稳定，那又是一场苦功。但是在kafka这里，不用担心，三个程序，比如订单，库存，顾客，我们为这三个程序的kafka客户端对应的设置为三个组，每一个组中consumer数量只要不超过5个，假如订单需要用到名为mylog的topic的消息，只要订单处理这个topic的实例数量，必须不能超过5个，当然可以少于5个，也可以等于0个。而同时一个consumer又可以去订阅多个topic，这也是kafka可以媲美rabbit的重要的一个原因，先天支持并发和扩展。我们看图：

如果一个组的consumer数量没有topic的分区多，kafka会自动分派给这个组的consumer，如果某一个consumer失败，kafka也会自动的将这个consumer的offset记录并且分派给另外一个consumer。

但是要注意一点，kafka的topic中的每个分区是线性的，但是所有的分区看起来就不会是线性的，如果需要topic是线性的，就必须将分区设置为1个。

下面看看我们封装的kafka客户端方法：

using System;

using System.Collections.Generic;

using System.Threading.Tasks;

using Confluent.Kafka;

using Microsoft.Extensions.Options;

namespace Walt.Framework.Service.Kafka

{

public class KafkaService : IKafkaService

{

private KafkaOptions _kafkaOptions;

private Producer _producer;

private Consumer _consumer;

public Action GetMessageDele{ get; set; }

public Action ErrorDele{ get; set; }

public Action LogDele{ get; set; }

public KafkaService(IOptionsMonitor kafkaOptions)

{

_kafkaOptions=kafkaOptions.CurrentValue;

kafkaOptions.OnChange((kafkaOpt,s)=>{

_kafkaOptions=kafkaOpt;

System.Diagnostics.Debug

.WriteLine(Newtonsoft.Json.JsonConvert.SerializeObject(kafkaOpt)+"---"+s);

});

_producer=new Producer(_kafkaOptions.Properties);

_consumer=new Consumer(_kafkaOptions.Properties);

}

private byte[] ConvertToByte(string str)

{

return System.Text.Encoding.Default.GetBytes(str);

}

public async Task Producer(string topic,string key,T t)

{

if(string.IsNullOrEmpty(topic)

|| t==null)

{

throw new ArgumentNullException("topic或者value不能为null.");

}

string data = Newtonsoft.Json.JsonConvert.SerializeObject(t);

var task= await _producer.ProduceAsync(topic,ConvertToByte(key),ConvertToByte(data));

return task;

}

public void AddProductEvent()

{

_producer.OnError+=new EventHandler(Error);

_producer.OnLog+=new EventHandler(Log);

}

///以事件的方式获取message

public void AddConsumerEvent(IEnumerable topics)

{

_consumer.Subscribe(topics);

_consumer.OnMessage += new EventHandler(GetMessage);

_consumer.OnError += new EventHandler(Error);

_consumer.OnLog += new EventHandler(Log);

}

private void GetMessage(object sender, Message mess)

{

if(GetMessageDele!=null)

{ <