flume
AI_skynet
5年java 3年hadoop。 目前就职于一家舆情服务公司,主要从事hadoop技术体系,spark技术体系的相关应用工作。
展开
-
flume 概述
Apache Flume 是一个分布式的,可靠的,可用的,可从许多不同的数据来源聚合和移动大量日志数据的高效数据收集系统.flume的用途并不仅限于日志数据的收集,由于数据源是可定制的,flume可以用于运输网络流量数据,社交媒体数据,和几乎任何数据源所产生的大量数据Flume的架构主要有一下几个核心概念: Event:最基本的数据传输单元。 Agent:一个独立的Flume进程,包含组件Sou原创 2017-01-13 14:18:10 · 440 阅读 · 0 评论 -
flume入门例子
1.官网下载 tar.gz 包 http://flume.apache.org/download.htmltar -zxvf apache-flume-1.7.0-bin.tar.gzconf 目录下配置 netstat.conf文件agent.sources = s1 agent.channels = c1 agent.sinks = sk1agent.sources.s1.type=netcat原创 2017-01-12 17:08:33 · 328 阅读 · 0 评论