gao634209276的博客

原文发表在：http://blog.javachen.com/2014/07/22/flume-ng.html1. 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容

本文尽量翻译官方文档Apache Flume用于从不同数据源采集、聚合以及移动大量日志数据到一个集中式数据存储中心。它是一个分布式、可靠、高可用的系统。Apache Flume的用途不仅仅局限于日志数据的采集。由于数据源是可定制的，Flume可以用来传输大量的Event数据，比如：网络流量数据、社交媒体产生的数据、电子邮件等几乎任何可能的数据。Apache Flume只Apache 基

一、Flume是什么　　Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二 、Fulme 有什么特点Fulme 特点如下： 1、可靠性　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。本文

背景随着达达业务迅猛发展，访问量的节节攀升，每天产生大量的日志，单日日志量从原来的约20G/天涨到超过500G/天，我们面临着新的架构设计挑战。在提出解决方案之前，我们先来了解一下达达当前的日志现状：1. 日志种类繁多需要收集的日志包含：Nginx的访问日志Tomcat的访问日志应用程序的业务日志其他日志：移动App的日志，达达快递员位移的日志等

Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程1、环境准备，四台测试服务器spark集群三台，spark1,spark2,spark3kafka集群三台，spark1,spark2,spark3zookeeper集群三台，spark1,spark2,spark3日志接收服务器， spark1日志收集服务器，redis (这台机器用来