Spark-ClickHouse-ES实时项目第五天-redis去重

仓库位置

日志生成：https://github.com/SmallScorpion/gmall-mock.git
日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git

需求

分析

1. 做日活，取启动日志“GMALL_SPARK_CK_ES_START”中的数据(事件日志也可以做，但是会麻烦一点)
2. 消费kafka中的数据。
3. 利用redis过滤当日已经计入的日活设备
4. 把每批次新增的当日日活信息保存到ES中(也可以做一层聚合数据量变小之后保存到redis或者MDB中)
5. 从ES中查询出数据，发布成数据接口，通可视化化工程调用。

redis

# bind 128.0.0.1
# protected-mode no
# daemonize yes

启动:/etc/module/redis/src/redis-server /etc/module/redis/redis.conf
查看：ps -ef | grep redis

redisUtil

package com.warehouse.gmall.realtime.util

import redis.clients.jedis.{
   Jedis, JedisPool, JedisPoolConfig}

/**
 * redisUtil
 */
object RedisUtil {
   

  var jedisPool:JedisPool=null

  def getJedisClient: Jedis = {
   
    if(jedisPool==null){
   
      //      println("开辟一个连接池")
      val config = PropertiesUtil.load("config.properties")