冷月宫主的专栏

http://www.linuxidc.com/Linux/2016-05/131402.htm 本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。 Flume包含Source、Channel、

在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息，甚至包括点击的位置，我们也经常发现自己刚搜完一个东西，再打开网页时每个小广告都会出现与之相关联的商品或信息，在感叹智能的同时不惊想 什么时候泄露的行踪。 　　许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据，供离线和在线的分析系统使用，正是日志收集系统的要做的事情。 　　用户的数据除了这种后台默默的收集外，

第一部分 搭建Kafka环境 安装Kafka 下载：http://kafka.apache.org/downloads.html tar zxf kafka-.tgz cd kafka- 启动Zookeeper 启动Zookeeper前需要配置一下config/zookeeper.properties： 接下来启动Zookeeper bin/z

简单测试项目： 1、新建Java项目结构如下： 测试类FlumeTest代码如下： package com.demo.flume; import org.apache.log4j.Logger; public class FlumeTest { private static final Logger LOGGER = Logger.getLogg