【分布式计算】分布式日志导入工具-Flume

标签: 日志 分布式计算
1481人阅读 评论(4) 收藏 举报
分类:

背景

Flume是Apache赞助的一个分布式日志管理系统,主要功能就是把集群中每个worker产生的日志log,collect到特定的地点。

为什么要写这篇文章呢,因为现在搜索出来的文献大多是老版本的flume,在flume1.X版本后,也就是flume-ng版本跟之前出现了很大的改动,市面上的很多文档都已经过时了,大家看的时候一定要注意这点,稍后我会提供几个比较新的,有参考价值的文章。

flume的优势有一下几个方面:
* JAVA实现,跨平台性能好
* 有一定的容错机制,和防止数据保障的机制
* 提供了很多的agent
* 方便开发,有developer选项

功能

这里写图片描述
单机版是如上形式的,有三个部件组成,分别是source,channel,sink。在使用的时候,只要安装flume,然后配置好对应的conf文件,就可以了。
source:主要是配置日志文件的来源(提供多种agent,支持多种数据源)
channel:类似于一个队列,暂存收到的日志数据
sink:将日志文件输出(有很多方式,可以投影到屏幕上,也可以读到数据库或者指定的文件中)

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro          #avro是flume的一种type,读取本地log文件
a1.sources.r1.bind = localhost    #这个和下面的port对应于avro-client的端口
a1.sources.r1.port = 44444


# Describe the sink 
a1.sinks.k1.type = com.waqu.sink.OdpsSink #对应代码里的包名
a1.sinks.k1.sink.batchSize = 20             #需要大于10
a1.sinks.k1.sink.table = *******            #自己建的hub表以及key-id信息
a1.sinks.k1.sink.project =******* 
a1.sinks.k1.sink.odps.access_id =********** 
a1.sinks.k1.sink.odps.access_key =********** 
a1.sinks.k1.sink.odps.end_point =***********
a1.sinks.k1.sink.sink.tunnel.end_point =*******

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.checkpointDir=1000
a1.channels.c1.dataDirs = 100


# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

下面就针对这三点,详细介绍下

Flume workflow

agent支持多种输入的source,几个比较常用的type。
*HTTP,可以监听http端口,拿log
*netcat,可以监听类似于telnet的端口数据
*Spooling ,监听某个文件目录下新增的文件
*Avro Source,发送指定文件,这个不支持实时监控,也就是说比方说我们监控a.log文件,当a.log改变了,我们无法拿到改变的日志
*Exec Source,这个可以实时监控某个文件

重点说下Exec Source,这个功能非常酷,它允许在agent上执行shell命令,这样我们就能用tail命令来监控某个文件新增的内容。

tail -f log.txt

Develop

*首先是利用官方的sdk包,开发打包jar文件
*把jar放到flume的lib文件目录下
*配置conf文件
*启动agent:flume-ng agent --conf conf --conf-file ./conf/my.conf -name a1 -Dflume.root.logger=INFO,console
*启动数据源:flume-ng avro-client -H localhost -p 44444 -F /home/garvin/log.txt -Dflume.root.logger=INFO,console

推荐几篇有用的东西:
一个代码实现的例子:https://github.com/waqulianjie/odps_sink
开发者document:http://flume.apache.org/FlumeUserGuide.html
一个比较完整的介绍:http://www.aboutyun.com/thread-8917-1-1.html

本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod]

查看评论

分布式日志收集收集系统:Flume(转)

http://www.geekbus.cn/flume-a-distributed-log-collecting-system/ 大数据 Killua 7个月前 (08-15) 1248浏览 ...
  • javastart
  • javastart
  • 2015-03-01 07:04:27
  • 4051

分布式日志收集系统Apache Flume的设计介绍

Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe,Apa...
  • zbf8441372
  • zbf8441372
  • 2014-01-12 22:30:32
  • 20047

分布式日志收集收集系统:Flume

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Fl...
  • u010064842
  • u010064842
  • 2016-06-14 13:17:55
  • 2470

Distributed System: 常见的分布式计算工具以及MapReduce详解

参考链接:https://www.zhihu.com/question/19850365 1:MapReduce(MR),最为general和流行的一个分布式计算框架,其开源实现Hadoop已经得...
  • Firehotest
  • Firehotest
  • 2017-04-09 08:25:16
  • 621

[Apache Flume] Apache Flume 分布式日志采集应用 (Hadoop 实现) (英文版)

  • 2013年11月22日 08:47
  • 1.06MB
  • 下载

分布式日志收集系统:Flume

Flume知识点:Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程...
  • u013067629
  • u013067629
  • 2015-05-30 18:37:47
  • 2467

基于Flume+Kafka+Spark-的分布式日志流处理系统的设计与实现

  • 2017年05月14日 17:56
  • 446KB
  • 下载

Flume-NG 日志文件收集 简单实例

公司计划部署Flume日志采集系统,所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。 虚拟机是CentOS6.7系统,Flume1.6.0。Flume安装很简单,下载官方软件包,解压...
  • w83304911
  • w83304911
  • 2015-12-01 17:13:40
  • 2333

Flume 抓取日志文件存入MySQL中

代码如下:/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor licens...
  • poisions
  • poisions
  • 2016-06-16 23:39:11
  • 5567

日志传输工具-Flume实现原理及应用

Flume是Cloudera提供的一个分布式、可信任且弹性的系统,用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心。所以可以把Flume当作一个高可用的、高可靠的、分布...
  • fisherman_hj
  • fisherman_hj
  • 2014-04-17 13:21:01
  • 1804
    统计

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    作者公众号:凡人机器学习

    凡人机器学习

    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 89万+
    积分: 1万+
    排名: 1619
    博客专栏