LogCollector08: 总结

1.项目架构
2.为什么不用elk
3.如何保证日志不丢失？重启后能继续收集。
发给kafka，发一条会有一个ack。记录读到哪个日志文件的offset。万一重新启动了，可以继续收集日志。
4.kafka
几种模式
5.etcd的watch原理。最底层用的websocket。
6.es相关知识点。
etcd里有各个服务器日志存放的路径，它们各不相同。拿着ip，拼了一个字段key，去etcd里拉取配置。（用占位符拼接）

然后就是logagent。
读配置文件，连接etcd，连接之后暂时能获取一次配置。

拿到这个配置项，就传给了tailfile。写一个for循环，tailfile根据配置里的路径去依次收集日志。收集完通过kafka模块发给kafka。

它单独起了一个watch的goroutine来监听kafka上对应的那个key。来判断我这个服务器对应的配置文件有没有发生变化。如果发生变化，收到通知。收到通知之后怎么办？把这个由watch得到的最新的配置放到我们写的一个阻塞的（没有缓冲区的）channel。然后再tailfile这个模块里面，有一个manager对象，这个管理对象一旦拿到最新的配置，就要管理tailtask。分为三种情况：原来有现在也有：不管，原来没有现在有：新建一个对象。原来有现在没有，把它停掉。

这样就完成了发送给kafka日志的功能。

关于系统数据发送给kafka：sysagent
本可以直接写进influxdb，但是influxdb集群收费，容易丢失持久化不易。