初识flume

原创 2015年11月17日 23:15:58
1.它是什么东西
2.它能干些什么
3.flume-og和flume-ng的区别是什么
4.实际例子

1.引用官方语言 它是个什么东西
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分
2.它能干些什么
其实上面说它是什么的时候就介绍了,他能做些什么,说白了就是数据的传输,从一个位置传到另一个位置,中间我们可以做一些其它的数据处理。
3.flume-og和flume-ng的区别是什么
Flume-og采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。
Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper,变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理(称为 Runner)。 在 Flume-og 中,读入线程同样做写出工作(除了故障重试)。如果写出慢的话(不是完全失败),它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。
4.实际例子
需求:一台机器进行手机日志,一台机器进行日志打印
两台机器Ip:1.192.168.135.1
                    2.192.168.135.2
在第一台机器上的配置:
解压:
tar -zxvf apache-flume-1.5.0-bin.tar.gz
重命名:
mv apache-flume-1.5.0-bin flume
进入配置文件:
cd flume/conf
vi push.conf
# Define a memory channel called ch1 on agent1
           agent1.channels.ch1.type = memory
agent1.sources.avro-source1.type = spooldir
agent1.sources.avro-source1.spoolDir = /tmp/logs
agent1.sources.avro-source1.channels = ch1

agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.type = avro
agent1.sinks.log-sink1.port=4444
agent1.sinks.log-sink1.hostname = 192.168.135.2

agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

在第二台机器上:
解压:
tar -zxvf apache-flume-1.5.0-bin.tar.gz
重命名:
mv apache-flume-1.5.0-bin flume
进入配置文件:
cd flume/conf
vi pull.conf
agent1.channels.ch1.type = memory
agent1.sources.avro-source1.type=avro
agent1.sources.avro-source1.bind=192.168.135.2
agent1.sources.avro-source1.port=4444
agent1.sources.avro-source1.channels=ch1
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.type = logger
agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

测试:新建test.log文件输入信息,cp到/tmp/logs/下看两台机器的输出结果
查看/tmp/logs/下test.log的变化 会变成:test.log.commied




Flume学习(一)Flume初始

一、FLUME介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年10月15日 10:57
  • 6936

使用Flume Log4j Appender正确的姿势

使用Flume Log4j Appender正确的姿势 我们使用Flume-ng的LoadBalancingLog4jAppender,将线上服务的日志实时传输到日志服务器,转交给告警系统和HDFS做...
  • wsscy2004
  • wsscy2004
  • 2014年01月25日 11:40
  • 9387

windows下flume配置与遇到的问题

最近学习大数据,听到数据采集需要flume这一个东西。于是开始捣鼓环境,可能是linux上没有hadoop环境没成功。后来尝试了在windows环境下使用flume,虽然其中遇到种种问题,但总算解决了...
  • u012762093
  • u012762093
  • 2017年02月09日 09:34
  • 1295

大数据企业学习篇05----flume初识

一、flume架构Flume is a distributed, reliable, and availableservice for efficiently collecting, aggregat...
  • liujian19921207
  • liujian19921207
  • 2017年12月20日 13:41
  • 56

flume 入门初识

1. 介绍Flume 是 Cloudera 提供的日志收集系统,具有分布式、高可靠、 高可用性等特点,对海量日志采集、聚合和传输,Flume 支持在日志 系统中定制各类数据发送方,同时,Flume 提...
  • u012373815
  • u012373815
  • 2016年10月30日 00:09
  • 508

初识Flume

一、flume简介 Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种storage。Fl...
  • mawming
  • mawming
  • 2016年09月01日 08:50
  • 189

Flume(一) Flume初识 环境的搭建和配置

Flume初识本文主要包括如下的几个部分: 下载Flume 配置Flume 启动Flume 及其命令解析 1. 下载Flume到Flume的官方网站下载相关文件Flume官网,本人下载的是最新的稳定版...
  • u010416101
  • u010416101
  • 2017年01月09日 01:00
  • 674

初识MyBatis

  • 2017年06月30日 15:44
  • 572KB
  • 下载

初识java笔记

  • 2015年08月09日 12:58
  • 715KB
  • 下载

Robotium环境搭建和初识

  • 2015年10月26日 10:31
  • 600KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:初识flume
举报原因:
原因补充:

(最多只允许输入30个字)