20天学习Spark（5）之Streaming+kafka实现用户实时日志

最新推荐文章于 2021-12-05 12:10:10 发布

乐意李先生

最新推荐文章于 2021-12-05 12:10:10 发布

阅读量497

点赞数

分类专栏： spark 文章标签： spark streaming 大数据实时大数据

本文链接：https://blog.csdn.net/lihao1107156171/article/details/116290249

版权

spark 专栏收录该内容

8 篇文章 2 订阅

订阅专栏

一篇学会如何在生产环境下使用kafka+SpringBoot+sparkStreaming对用户日常行为进行大数据分析处理

注意：本文适用于已经掌握基础java框架想学习大数据的开发者

建议收藏，否则容易找不到

之前的文章中streaming处理的数据主要用于学习streaming的一些基础使用，在实际生产环境下还是需要使用专门的日志收集。

kafka&&zookeeper下载地址：https://download.csdn.net/download/lihao1107156171/18254437

代码所在地址：https://gitee.com/lihao2/blog-code

在实际项目中，如果想要进行大数据处理操作，我们首先需要先获取用户日志（这里说的日志指的是用户进入软件后的操作记录），然后才可以处理。为保证用户日志的操作不影响整体软件的运行，我们需要使用消息队列进行异步操作，这样的话日志记录不影响整个应用效率

什么是Kafka

kafka一个分布式的消息队列，所谓消息队列简单讲就是一个负责数据发送的应用程序，消息队列把一个数据（消息）发给另外一个应用，提高应用响应时间。

常用的消息队列有activeMQ，RabbitMQ等，他们每个都有自己的优点特征，这里我们不再逐个描述。我们主要说明kafka

kafka最大的优点是高吞吐量（简单讲就是处理数据速度非常快），所以我们一般选择使用kafka作为日志收集系统

安装Zookeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，kafka是基于zookeeper协调，所以首先我们需要安装zookeeper，这里也注意在kafka安装包下也有zookeeper，也可以使用它的。

1、解压zookeeper安装包

2、在bin目录下有zkServer.cmd文件，双击即可运行

安装kafka

1、下载解压kafka_2.12-2.5.0

2、进入\bin\windows目录下，在地址栏敲cmd进入命令窗口，运行命令 kafka-server-start.bat server.properties ，注意先开启zookeeper

编写SpringBoot项目发送kafka

我们安装完kafka，我们需要一个后端代码作为消息的发送者，注意项目环境是一个springBoot项目，需要先搭建springBoot项目环境

首先在pom文件中添加kafka依赖

1、jar包

<!-- kafka -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2、修改项目中的application.yml文件，添加kafka地址

server:
  port: 8089    #项目端口号
spring:
  kafka:
    producer:
      bootstrap-servers: 127.0.0.1:9092 # kafka地址

3、开始编写发送者（生产者）代码，进入项目controller层，创建MsgController类用于接收前端请求，向kafka发送数据

@RestController
public class MsgController {

    /* 发送kafka */
    @Autowired
    @SuppressWarnings("all")
    private KafkaTemplate<String, String> kafkaTemplate;

    @GetMapping("sendK")
    public String send(){
        // kafkaTemplate.send(消息名称,消息数据) // 向kafka发送消息
        // token~用户ID~用户点击商品ID~商品类别ID~操作时间
        String log = "zasdad~1~46~23~2021-04-15 09:04:00";
        kafkaTemplate.send("streaming",log);

        return "SUCCESS";
    }

}

上面就是springBoot项目如何向kafka发送日志了。总结下使用方法

小结

先开服务，首开zk再开ka；

代码编写，一jar包，二配置，三使用

streaming接收kafka

我们在后端发送完日志信息后需要编写Streaming接收kafka消息，首先也是现在原有项目pom文件下配置jar包

1、放jar包

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
    <version>2.4.4</version>
</dependency>

jar包下载完成后，就需要编写项目主要内容，处理kafka端发送过来的日志了

2、创建新类编写main方法

  
  
  def main(args: Array[String]): Unit = {
    // StreamingContext(spark配置,时间间隔)
    val ssc = new StreamingContext(
      new SparkConf().setAppName("streaming")
        .setMaster("local[2]"),Seconds(10)
    )
    // 设置日志级别
    ssc.sparkContext.setLogLevel("ERROR")

    // 设置检查点
    ssc.checkpoint("./check_port")

    // 定义kafka的相关参数
    val kafkaParams = Map[String, Object](
      "bootstrap.servers" -> "127.0.0.1:9092",  // kafka位置
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "key.serializer" -> "org.apache.kafka.common.serialization.StringSerializer",
      "value.serializer" -> "org.apache.kafka.common.serialization.StringSerializer",
      "group.id" -> "spark", // 消费者组织ID
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean))

	// 开始读取kafka中发送过来的数据
    val data = KafkaUtils.createDirectStream(
      ssc,LocationStrategies.PreferConsistent
      ,ConsumerStrategies
        .Subscribe[String,String](List("streaming"),kafkaParams)// (消息名称,kafka参数)
    )

    // 获得发送的值 打印
    data.map(_.value()).print()

    ssc.start()
    ssc.awaitTermination()

  }

首先运行springBoot项目中启动类main方法，启动成功后运行Streaming类中的main方法，放我们在浏览器去访问 http://127.0.0.1:8089/sendK 的时候就开始访问MsgController，此时进入send方法，然后把消息发送给kafka，Streaming项目实时监听着kafka，读取kafka中的消息，然后处理。

实现开发环境中发送过来的日志是多种多样的动态的，streaming中也是有专门的配置类去配置kafka，这里的话我们简单写，重点是多个软件之间最简单的协调处理

我们用最简单的代码讲述最核心的技术，如果您感觉文章对您有帮助的话，点个赞呗