Flume-kafka-Storm

http://www.aboutyun.com/thread-6855-1-1.html
Flume
简介
这是一个关于池子的故事。有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口。水术语称为Event，进水口术语称为Source、
出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent。如果有需要，还可以把多个Agent连起来。

    Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，
    并写到各种数据接受方(可定制)的能力。

    是一种分布式的、可靠的、可用的服务，用于高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错性。
    它使用一个简单的可扩展的数据模型，允许联机分析应用程序。

    Flume数据源以及输出方式:
        Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统，支持TCP和UDP等2种模式)，exec(命令执行)等数据源上收集数据的能力,在我们的
        系统中目前使用exec方式进行日志采集。
    Flume的数据接受方:
        可以是console(控制台)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系统)等。在我们系统中由kafka来接收。

下载
    http://flume.apache.org/

安装
    $tar zxvf apache-flume-1.4.0-bin.tar.gz/usr/local

启动
    $bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name producer -Dflume.root.logger=INFO,console

Kafka
简介
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。

    kafka的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 
    这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
    kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

下载
    Kafka版本：0.8.0
    http://kafka.apache.org/

安装
    http://blog.csdn.net/weijonathan/article/details/18075967
    > tar xzf kafka-<VERSION>.tgz
    > cd kafka-<VERSION>
    > ./sbt update
    > ./sbt package
    > ./sbt assembly-package-dependency

启动及测试命令
    start server
        > bin/zookeeper-server-start.shconfig/zookeeper.properties
        > bin/kafka-server-start.shconfig/server.properties
        kafka本身有内置zookeeper，如果自己在实际部署中是使用单独的zookeeper集群，所以第一行命令不用执行
        配置独立的zookeeper集群需要配置server.properties文件，讲zookeeper.connect修改为独立集群的IP和端口
        zookeeper.connect=nutch1:2181

    Create a topic
        > bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
        > bin/kafka-list-topic.sh --zookeeperlocalhost:2181

    Send some messages
        > bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test

    Start a consumer
        > bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning

    kafka-console-producer.sh和kafka-console-cousumer.sh只是系统提供的命令行工具。这里启动是为了测试是否能正常生产消费；验证流程正确性

Storm
简介
http://www.cnblogs.com/langtianya/p/5199529.html
Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。
GitHub上的最新版本是Storm 0.5.2，基本是用Clojure写的。

    Storm的主要特点如下：
        1、简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。
        2、可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。
        3、容错性。Storm会管理工作进程和节点的故障。
        4、水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
        5、可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时，它会负责从消息源重试消息。
        6、快速。系统的设计保证了消息能得到快速的处理，使用ØMQ作为其底层消息队列。（0.9.0.1版本支持ØMQ和netty两种模式）
        7、本地模式。Storm有一个“本地模式”，可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。

安装
    Storm-0.9.0.1安装部署 指导 http://www.aboutyun.com/thread-6854-1-1.html

框架整合
flume 和 kafka 整合
1.下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin

    2.提取插件中的flume-conf.properties文件
        修改该文件：#source section
        producer.sources.s.type = exec
        producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
        producer.sources.s.channels = c
        修改所有topic的值改为test
        将改后的配置文件放进flume/conf目录下
        在该项目中提取以下jar包放入环境中flume的lib下：
            flumeng-kafka-plugin.jar
            kafka_2.9.2-0.8.0-beata1.jar
            metrics-annotation-2.2.0.jar
            metrics-core-2.2.0.jar
            scala-compiler-2.9.2.jar
            scala-library-2.9.2.jar
            zkclient-0.1.jar
        这里的flumeng-kafka-plugin.jar这个包，后面在github项目中已经移动到package目录了

    3.测试下flume+kafka这个流程有没有走通
        使用kafka的kafka-console-consumer.sh脚本查看是否有flume有没有往Kafka传输数据；
            ...
        通过flume到kafka，还有一步是到hdfs的；而我们这边还没有提到如何存入kafka且同时存如hdfs；
        flume是支持数据同步复制，同步复制流程图如下，取自于flume官网，官网用户指南地址：http://flume.apache.org/FlumeUserGuide.html
        设置同步复制呢，看下面的配置：
            #2个channel和2个sink的配置文件  这里我们可以设置两个sink，一个是kafka的，一个是hdfs的；
            a1.sources = r1
            a1.sinks = k1 k2
            a1.channels = c1 c2

kafka和storm的整合
    1.下载kafka-storm0.8插件：https://github.com/wurstmeister/storm-kafka-0.8-plus

    2.使用maven package进行编译，得到storm-kafka-0.8-plus-0.3.0-SNAPSHOT.jar包

    3.将该jar包及kafka_2.9.2-0.8.0-beta1.jar、metrics-core-2.2.0.jar、scala-library-2.9.2.jar (这三个jar包在kafka项目中能找到)
        备注：如果开发的项目需要其他jar，记得也要放进storm的Lib中比如用到了mysql就要添加mysql-connector-java-5.1.22-bin.jar到storm的lib下  
    4.storm重启

    5.使用kafka-storm0.8插件，写一个自己的Storm程序；
        storm程序，百度网盘分享地址：链接: http://pan.baidu.com/s/1jGBp99W 密码: 9arq

    6.需要输入一个参数作为Topology名称就可以了！我们这里使用本地模式，所以不输入参数，直接看流程是否走通；
        storm-0.9.0.1/bin/storm jar storm-start-demo-0.0.1-SNAPSHOT.jar com.storm.topology.MyTopology

由于我们使用storm进行分布式流式计算，那么分布式最需要注意的是数据一致性以及避免脏数据的产生；所以我提供的测试项目只能用于测试，正式开发不能这样处理；
晨色星空J2EE（一个网名）给的建议是建立一个zookeeper的分布式全局锁，保证数据一致性，避免脏数据录入！
zookeeper客户端框架大伙可以使用Netflix Curator来完成