第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

11-1 -课程目录

基于Spark Steaming&Flume&kafka打造通用流处理平台

整合日志框架输出到flume

整合flume到kafka

整合kafka到spark streaming

spark streaming对接接收到的数据进行处理

 

11-2 -处理流程画图剖析

11-3 -日志产生器开发并结合log4j完成日志的输出

模拟日志

代码地址：

https://gitee.com/sag888/big_data/blob/master/Spark%20Streaming%E5%AE%9E%E6%97%B6%E6%B5%81%E5%A4%84%E7%90%86%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98/project/l2118i/sparktrain/src/test/java/LoggerGenerator.java

源码：

import org.apache.log4j.Logger;

/**

* 模拟日志产生

*/

public class LoggerGenerator {

private static Logger logger = Logger.getLogger(LoggerGenerator.class.getName());

public static void main(String[] args) throws Exception{

int index = 0;

while(true) {

Thread.sleep(1000);

logger.info("value : " + index++);

}

}

}

11-4 -使用Flume采集Log4j产生的日志

streaming.conf

agent1.sources=avro-source

agent1.channels=logger-channel

agent1.sinks=log-sink

#define sources

agent1.sources.avro-sources.type=avro

agent1.sources.avro-sources.bind=0.0.0.0

agent1.sources.avro-sources.port=41414

#define channel

agent1.channels=logger-channel.type=memory\

#define sink

agent1.sinks.log-sink.type=logger

 

agent1.sources.avro-sources.channels=logger-channel

agent1.sinks.log-sink.channel=logger-channel

配置日志：

log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender

log4j.appender.flume.Hostname = hadoop000

log4j.appender.flume.Port = 41414

log4j.appender.flume.UnsafeMode = true

11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka

1、启动zookeeper

./zkServer.sh start

2、启动kafka

./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.propertie

查看是否启动成功

./kafka -topices.sh --list --zookeeper hadoop000:2181

3）创建topic

./kafka -topics.sh --create --zookeeper localhost:2181 -- replication -factor 1 -- partitions 1 --topic streamingtopic

4）配置

 

 

5、启动Flume

 

11-6 -Spark Streaming消费Kafka的数据进行统计

代码地址：

https://gitee.com/sag888/big_data/blob/master/Spark%20Streaming%E5%AE%9E%E6%97%B6%E6%B5%81%E5%A4%84%E7%90%86%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98/project/l2118i/sparktrain/src/main/scala/com/imooc/spark/KafkaStreamingApp.scala

代码：

package com.imooc.spark

import org.apache.spark.SparkConf

import org.apache.spark.streaming.kafka.KafkaUtils

import org.apache.spark.streaming.{Seconds, StreamingContext}

/**

* Spark Streaming对接Kafka

*/

object KafkaStreamingApp {

def main(args: Array[String]): Unit = {

if(args.length != 4) {

System.err.println("Usage: KafkaStreamingApp <zkQuorum> <group> <topics> <numThreads>")

}

val Array(zkQuorum, group, topics, numThreads) = args

val sparkConf = new SparkConf().setAppName("KafkaReceiverWordCount")

.setMaster("local[2]")

val ssc = new StreamingContext(sparkConf, Seconds(5))

val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap

// TODO... Spark Streaming如何对接Kafka

val messages = KafkaUtils.createStream(ssc, zkQuorum, group,topicMap)

// TODO... 自己去测试为什么要取第二个

messages.map(_._2).count().print()

ssc.start()

ssc.awaitTermination()

}

}

 

 

 

11-7 -本地测试和生产环境使用的拓展

我们现在是在本地进行测试的，在idea中执行LoggerGenerator，然后使用flume、kafka、以及spark streaming进行操作

在生产上肯定不是这么干的，怎么干呢？

1）打包jar,执行LoggerGenerator类

2）flume、kafka和我们的测试是一样的

3)spark streaming的代码也需要打成jar包，然后使用spark-submit的方式提交，可以根据你们的实际情况选择运行模式：local/yarn/standlone/mesos

在生产上，整个流处理的流程都一样的，区别在于业务逻辑的复杂性。