Kafka快速上手教程 4

Java 测试 Flume 与 Kafka 的连通性

一、实验介绍

1.1 实验内容

上节课已经详细介绍了 Flume 与 Kafka 的集成，本节课延续上节课的使用环境，使用 Java 测试 Flume 与 Kafka 的连通性。

1.2 先学课程

Flume 介绍与安装:https://www.shiyanlou.com/courses/237

1.3 实验知识点

• Flume API
• Kafka 启动脚本
• HDFS 文件系统

1.4 实验环境

• Hadoop 2.6.1
• Kafka_2.10-0.10.0.0
• Flume-1.6.0
• Xfce 终端

1.5 适合人群

本课程属于中等难度级别，适合具有大数据 hadoop 基础的用户，如果对数据采集 了解能够更好的上手本课程。

二、实验步骤

2.1 准备工作

本节实验是在上节课的基础上进行，需要的组件已经安装完成，并启动相应的服务，具体如下：

如果没有正确启动相关服务，请参考上节课实验。

2.2 修改文件

用 hadoop 用户进入 flume 解压包的 conf 目录下， 通过使用 vi 命令添加修改 flume-kafka.properties。

hadoop@945f39ae074b:/opt/apache-flume-1.6.0-bin/conf$ sudo vi flume-kafka.properties
#添加如下

# Name the components on this agent 
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type=avro
a1.sources.r1.bind=localhost
a1.sources.r1.port=41414

# Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink 
a1.sinks.k1.topic = testflume 
a1.sinks.k1.brokerList = localhost:9092 
a1.sinks.k1.requiredAcks = 1 
a1.sinks.k1.batchSize = 20 
a1.sinks.k1.channel = c1

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

根据 flume-kafka.properties 的配置创建主题 testflume。

$ bin/kafka-topics.sh  --create --zookeeper localhost:2181  --replication-factor 1 --partitions 1 --topic testflume

2.3 下载依赖及导包

在 /opt 目录下，用 hadoop 用户通过 wget 命令下载

slf4j-1.7.22.zip，并用 tar命令解压。

$ sudo wget http://labfile.oss.aliyuncs.com/courses/785/slf4j-1.7.22.zip
$ sudo  unzip slf4j-1.7.22.zip

用 cp 命令拷贝 slf4j-nop-1.7.22.jar 到 flume 安装包的 lib 目录下。

$ sudo cp slf4j-1.7.22/slf4j-nop-1.7.22.jar  apache-flume-1.6.0-bin/lib/

双击打开 eclipse -> file -> New -> Java Project

输入 Project name -> 选择 javaSe-1.7 -> Finish

右键 src -> New -> Package

输入包名 -> Finish

添加 flume jar 包

点击 Libraries -> Add External JARs...-> 选中已经下载的 flume lib 目录下的 jar -> 确定

点击 OK

2.4 编写 MyTest

右键点击 test -> New -> Class

输入类名 -> 确认

MyTest.java如下

package test;
import java.nio.charset.Charset;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.api.RpcClient;
import org.apache.flume.api.RpcClientFactory;
import org.apache.flume.event.EventBuilder;

public class MyTest {

    public static void main(String[] args) throws Exception {
        MyRpcClientFacade client = new MyRpcClientFacade();
        // Initialize client with the remote Flume agent's host and port
        client.init("localhost", 41414);

        // Send 10 events to the remote Flume agent. That agent should be
        // configured to listen with an AvroSource.
        String sampleData = "=====Hello Flume=====";
        for (int i = 0; i < 1000; i++) {
            client.sendDataToFlume(sampleData);

        }

        client.cleanUp();
    }
}

class MyRpcClientFacade {
    private String hostname;
    private RpcClient client;
    private int port;

    public void init(String hostname, int port) {
        // Setup the RPC connection
        this.hostname = hostname;
        this.port = port;
        this.client = RpcClientFactory.getDefaultInstance(hostname, port);
        // Use the following method to create a thrift client (instead of the
        // above line):
        // this.client = RpcClientFactory.getThriftInstance(hostname, port);
    }

    public void sendDataToFlume(String data) {
        // Create a Flume Event object that encapsulates the sample data
        Event event = EventBuilder.withBody(data, Charset.forName("UTF-8"));

        // Send the event
        try {
            client.append(event);
        } catch (EventDeliveryException e) {
            // clean up and recreate the client
            client.close();
            client = null;
            client = RpcClientFactory.getDefaultInstance(hostname, port);
            // Use the following method to create a thrift client (instead of
            // the above line):
            // this.client = RpcClientFactory.getThriftInstance(hostname, port);
        }
    }

    public void cleanUp() {
        // Close the RPC connection
        client.close();
    }

}

2.5 测试

启动顺序：

1）flume-ng 启动 agent：

hadoop@945f39ae074b:/opt/apache-flume-1.6.0-bin$ bin/flume-ng agent -c ./conf/ -f conf/flume-kafka.properties -Dflume.root.logger=DEBUG,console -n a1

2）另外开启 kafka Xfce 终端，启动 consumer。

hadoop@945f39ae074b:/opt/kafka_2.10-0.10.0.0$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic testflume

右键运行 main

回到 kafka Xfce 终端，观察到 kafka 终端不断消费消息。

三、实验总结

通过修改 Flume 的配置文件，并基于 Flume API 编写程序，实现了 Flume 与 Kafka 的连通，更高级的应用请参考 Flume API。

四、扩展阅读

• https://cwiki.apache.org//confluence/display/FLUME/Getting+Started
• http://kafka.apache.org/quickstart