数据收集系统是基于应用服务器日志的数据收集系统,其目标就是实现数据的收集,预处理,分析进而展示的过程。使用各种产品进行数据展示的过程。在分布式的系统当中,日志中的同一服务器可能会记录多种多样的日志,同一个日志会记录在不同的服务器上。对于flume方式,每一台服务器上面会记录多种多样的日志,对于同一个APP1,会为其配置多个接收数据的agent来接收不同类型的日志文件。对于APP1和APP2中产生同种日志,每个服务器上有单独的agent接收以后会聚合到一个新的agent,最后把数据统一的传输到HDFS上面。其中流程如下图所示。
flume方式是指把实时的数据写入HDFS中,我们把flume做为数据传输的通道,flume需要创建自己的agent,支持LOG4J的写入的source只有avro source ,我们采用HDFS分布式文件系统做为数据存储系统,所以采用 HDFS sink ,为了保证数据的安全性,我们使用file channel的方式。做为数据传输的通道。
如何才能配置agent了,需要配置哪些参数呢?
如上图的 配置做一些解释:
这里配置一个叫做agent-1的agent,包括avro source ,需要配置它的几个属性,type,bind和port,type表示的是source的类型即 avro source ,bind表示他监听的主机名或者IP,port表示监听的端口,bind和port加起来就是监听的应用服务器。
channel采用的是file-channel方式,file-chan