【Kafka】实时看板案例

最新推荐文章于 2024-05-29 10:36:44 发布
最新推荐文章于 2024-05-29 10:36:44 发布
阅读量392 收藏
点赞数
分类专栏： Kafka 文章标签： flume log4j kafka jedis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CODEROOKIE_RUN/article/details/105067835
版权

目录

项目需求

快速计算双十一当天的订单量和销售金额

项目模型

在这里插入图片描述
在这里插入图片描述

实现步骤

一、创建topic
bin/kafka-topics.sh --create --topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5 --replication-factor 2

二、创建maven项目并导入要依赖的jar包

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.41</version>
    </dependency>
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>2.9.0</version>
    </dependency>

    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>


</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.4.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>cn.itcast.realboard.LogOperate</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
         <plugin>
                 <artifactId> maven-assembly-plugin </artifactId>
                 <configuration>
                      <descriptorRefs>
                           <descriptorRef>jar-with-dependencies</descriptorRef>
                      </descriptorRefs>
                      <archive>
                           <manifest>
                                <mainClass>cn.itcast.realboard.LogOperate</mainClass>
                           </manifest>
                      </archive>
                 </configuration>
                 <executions>
                      <execution>
                           <id>make-assembly</id>
                           <phase>package</phase>
                           <goals>
                                <goal>single</goal>
                           </goals>
                      </execution>
                 </executions>
            </plugin>
    </plugins>
</build>

三、消费生产代码实现

  • 1.创建订单实体类
    package cn.itcast.realboard;

import com.alibaba.fastjson.JSONObject;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Random;
import java.util.UUID;

public class PaymentInfo {
    private static final long serialVersionUID = -7958315778386204397L;
    private String orderId;//订单编号
    private Date createOrderTime;//订单创建时间
    private String paymentId;//支付编号
    private Date paymentTime;//支付时间
    private String productId;//商品编号
    private String productName;//商品名称
    private long productPrice;//商品价格
    private long promotionPrice;//促销价格
    private String shopId;//商铺编号
    private String shopName;//商铺名称
    private String shopMobile;//商品电话
    private long payPrice;//订单支付价格
    private int num;//订单数量
    /**
     * <Province>19</Province>
     * <City>1657</City>
     * <County>4076</County>
     */
    private String province; //省
    private String city; //市
    private String county;//县
    //102,144,114
    private String catagorys;
    public String getProvince() {
        return province;
    }
    public void setProvince(String province) {
        this.province = province;
    }

    public String getCity() {
        return city;
    }

    public void setCity(String city) {
        this.city = city;
    }

    public String getCounty() {
        return county;
    }

    public void setCounty(String county) {
        this.county = county;
    }

    public String getCatagorys() {
        return catagorys;
    }

    public void setCatagorys(String catagorys) {
        this.catagorys = catagorys;
    }

    public PaymentInfo() {
    }

    public PaymentInfo(String orderId, Date createOrderTime, String paymentId, Date paymentTime, String productId, String productName, long productPrice, long promotionPrice, String shopId, String shopName, String shopMobile, long payPrice, int num) {
        this.orderId = orderId;
        this.createOrderTime = createOrderTime;
        this.paymentId = paymentId;
        this.paymentTime = paymentTime;
        this.productId = productId;
        this.productName = productName;
        this.productPrice = productPrice;
        this.promotionPrice = promotionPrice;
        this.shopId = shopId;
        this.shopName = shopName;
        this.shopMobile = shopMobile;
        this.payPrice = payPrice;
        this.num = num;
    }

    public String getOrderId() {
        return orderId;
    }

    public void setOrderId(String orderId) {
        this.orderId = orderId;
    }

    public Date getCreateOrderTime() {
        return createOrderTime;
    }

    public void setCreateOrderTime(Date createOrderTime) {
        this.createOrderTime = createOrderTime;
    }

    public String getPaymentId() {
        return paymentId;
    }

    public void setPaymentId(String paymentId) {
        this.paymentId = paymentId;
    }

    public Date getPaymentTime() {
        return paymentTime;
    }

    public void setPaymentTime(Date paymentTime) {
        this.paymentTime = paymentTime;
    }

    public String getProductId() {
        return productId;
    }

    public void setProductId(String productId) {
        this.productId = productId;
    }

    public String getProductName() {
        return productName;
    }

    public void setProductName(String productName) {
        this.productName = productName;
    }

    public long getProductPrice() {
        return productPrice;
    }

    public void setProductPrice(long productPrice) {
        this.productPrice = productPrice;
    }

    public long getPromotionPrice() {
        return promotionPrice;
    }

    public void setPromotionPrice(long promotionPrice) {
        this.promotionPrice = promotionPrice;
    }

    public String getShopId() {
        return shopId;
    }

    public void setShopId(String shopId) {
        this.shopId = shopId;
    }

    public String getShopName() {
        return shopName;
    }

    public void setShopName(String shopName) {
        this.shopName = shopName;
    }

    public String getShopMobile() {
        return shopMobile;
    }

    public void setShopMobile(String shopMobile) {
        this.shopMobile = shopMobile;
    }

    public long getPayPrice() {
        return payPrice;
    }

    public void setPayPrice(long payPrice) {
        this.payPrice = payPrice;
    }

    public int getNum() {
        return num;
    }

    public void setNum(int num) {
        this.num = num;
    }

    @Override
    public String toString() {
        return "PaymentInfo{" +
                "orderId='" + orderId + '\'' +
                ", createOrderTime=" + createOrderTime +
                ", paymentId='" + paymentId + '\'' +
                ", paymentTime=" + paymentTime +
                ", productId='" + productId + '\'' +
                ", productName='" + productName + '\'' +
                ", productPrice=" + productPrice +
                ", promotionPrice=" + promotionPrice +
                ", shopId='" + shopId + '\'' +
                ", shopName='" + shopName + '\'' +
                ", shopMobile='" + shopMobile + '\'' +
                ", payPrice=" + payPrice +
                ", num=" + num +
                '}';
    }

    public String random() throws ParseException {
        this.orderId = UUID.randomUUID().toString().replaceAll("-", "");
        this.paymentId = UUID.randomUUID().toString().replaceAll("-", "");
        this.productPrice = new Random().nextInt(1000);
        this.promotionPrice = new Random().nextInt(500);
        this.payPrice = new Random().nextInt(480);
        this.shopId = new Random().nextInt(200000)+"";

        this.catagorys = new Random().nextInt(10000)+","+new Random().nextInt(10000)+","+new Random().nextInt(10000);
        this.province = new Random().nextInt(23)+"";
        this.city = new Random().nextInt(265)+"";
        this.county = new Random().nextInt(1489)+"";

        String date = "2015-11-11 12:22:12";
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        try {
            this.createOrderTime = simpleDateFormat.parse(date);
        } catch (ParseException e) {
            e.printStackTrace();
        }
        JSONObject obj = new JSONObject();
        String jsonString = obj.toJSONString(this);
        return jsonString;
        //  return new Gson().toJson(this);
    }
}

 

  • 2.定义log4j.properties配置文件
    在/src/main/resources/目录下创建log4h.properties文件
    ### 设置###
log4j.rootLogger = debug,stdout,D,E

### 输出信息到控制抬 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

### 输出DEBUG 级别以上的日志到=E://logs/error.log ###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
#log4j.appender.D.File = /Users/zhaozhuang/Desktop/logs/log.log
log4j.appender.D.File = /export/servers/orderLogs/orderinfo.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG 
log4j.appender.D.layout = org.apache.log4j.PatternLayout
#log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n
log4j.appender.D.layout.ConversionPattern = %m%n

### 输出ERROR 级别以上的日志到=E://logs/error.log ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
#log4j.appender.E.File = /Users/zhaozhuang/Desktop/logs/error.log
log4j.appender.E.File = /export/servers/orderLogs/ordererror.log
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR 
log4j.appender.E.layout = org.apache.log4j.PatternLayout
#log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n
log4j.appender.E.layout.ConversionPattern =  %m%n

 

  • 3.开发日志生产代码

    package cn.itcast.realboard;

import org.apache.log4j.Logger;

import java.text.ParseException;

public class LogOperate {
    private static Logger printLogger = Logger.getLogger("printLogger");
    public static void main(String[] args) throws ParseException, InterruptedException {
        PaymentInfo paymentInfo = new PaymentInfo();
        while(true){
            String random = paymentInfo.random();
            System.out.println(random);
            printLogger.info(random);
            Thread.sleep(1000);
        }
    }
}

  • 4.将程序打包并上传服务器运行
    上传后执行以下命令
    java -jar day10_Project-1.0-SNAPSHOT-jar-with-dependencies.jar

  • 5.开发flume配置文件，实现收集数据到kafka
    开发flume配置文件
    cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/
    vim file_kafka.conf

    #为我们的source channel  sink起名
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#指定我们的source收集到的数据发送到哪个管道
a1.sources.r1.channels = c1
#指定我们的source数据收集策略
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /export/servers/orderLogs/orderinfo.log

#指定我们的channel为memory,即表示所有的数据都装进memory当中
a1.channels.c1.type = memory
#指定我们的sink为kafka  sink，并指定我们的sink从哪个channel当中读取数据
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = itcast_order
a1.sinks.k1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1

    启动flume bin/flume-ng agent -c conf/ -f conf/file_kafka.conf -n a1

  • 6.启动kafka，开始消费数据
    cd /export/servers/kafka_2.11-1.0.0/
    bin/kafka-console-consumer.sh --from-beginning --bootstrap-server node01:9092,node02:9092,node03:9092 --topic itcast_order

四、消费消费代码实现

  • 1.定义redis工具类
    package cn.itcast.realboard;

import org.junit.Test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

public class JedisUtils {
    private static JedisPool pool = null;
    /**
     * 获取jedis连接池
     **/
    public static JedisPool getPool(){
        if(pool == null){
            //创建jedis连接池配置
            JedisPoolConfig config = new JedisPoolConfig();
            //最大连接数
            config.setMaxTotal(20);
            //最大空闲连接
            config.setMaxIdle(5);
            //创建redis连接池
            pool = new JedisPool(config,"node01",6379,3000);
        }
        return pool;
    }

    /**
     * 获取jedis连接
     **/
    public static Jedis getConn(){
        return getPool().getResource();
    }

    @Test
    public void getJedisTest() throws Exception {
        Jedis jedis = getPool().getResource();
        jedis.incrBy("mine", 5);
        jedis.close();
    }
}
  • 2.开发Kafka消费代码
    package cn.itcast.realboard;

import com.alibaba.fastjson.JSONObject;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.TopicPartition;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

import java.util.*;

public class MyKafkaConsumer {
    /**
     * 消费itcast_order里面的数据
     *
     * @param args
     */
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "node01:9092");
        props.put("group.id", "test");
        //以下两行代码 ---消费者自动提交offset值
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("enable.auto.commit", "false");
        props.put("auto.commit.interval.ms", "1000");
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(props);
        kafkaConsumer.subscribe(Arrays.asList("itcast_order"));

        while (true) {
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(3000);
            //获取所有分区
            Set<TopicPartition> partitions = consumerRecords.partitions();
            for (TopicPartition topicPartition : partitions) {
                List<ConsumerRecord<String, String>> records = consumerRecords.records(topicPartition);
                for (ConsumerRecord<String, String> record : records) {
                    //获取Jedis客户端
                    JedisPool jedisPool = JedisUtils.getPool();
                    Jedis jedis = jedisPool.getResource();

                    //获取json字符串
                    String value = record.value();

                    //把字符串转换成对象
                    PaymentInfo paymentInfo = JSONObject.parseObject(value, PaymentInfo.class);

                    //获取付款额度
                    long payPrice = paymentInfo.getPayPrice();

                    //redis中的Key一般是约定俗成的，实际工作中一般都有业务逻辑

                    //求取平台销售总额度
                    jedis.incrBy("itcast:order:total:price:date",payPrice);
                    //求取平台下单人数
                    jedis.incr("itcast:order:total:user:date");
                    //平台销售数量(简单认为一个订单一个商品)
                    jedis.incr("itcast:order:total:num:date");

                    //每个商品的销售额
                    jedis.incrBy("itcast:order:"+paymentInfo.getProductId()+"price:date",payPrice);
                    //每个商品的购买人数
                    jedis.incr("itcast:order:"+paymentInfo.getProductId()+":user:date");
                    //每个商品销售数量
                    jedis.incr("itcast:order:"+paymentInfo.getProductId()+":num:date");

                    //每个店铺的总销售额
                    jedis.incrBy("itcast:order:"+paymentInfo.getShopId()+":price:date",payPrice);
                    //每个店铺的购买人数
                    jedis.incr("itcast:order:"+paymentInfo.getShopId()+":user:date");
                    //每个店铺的销售数量
                    jedis.incr("itcast:order:"+paymentInfo.getShopId()+":num:date");
                    
                    jedis.close();

                    //处理业务逻辑
                    /**
                     平台运维角度统计指标
                     平台总销售额度
                     redisRowKey设计  itcast:order:total:price:date
                     平台今天下单人数
                     redisRowKey设计  itcast:order:total:user:date
                     平台商品销售数量
                     redisRowKey设计  itcast:order:total:num:date


                     商品销售角度统计指标
                     每个商品的总销售额
                     Redis的rowKey设计itcast:order:productId:price:date
                     每个商品的购买人数
                     Redis的rowKey设计itcast:order:productId:user:date
                     每个商品的销售数量
                     Redis的rowKey设计itcast:order:productId:num:date


                     店铺销售角度统计指标
                     每个店铺的总销售额
                     Redis的rowKey设计itcast:order:shopId:price:date
                     每个店铺的购买人数
                     Redis的rowKey设计itcast:order:shopId:user:date
                     每个店铺的销售数量
                     Redis的rowKey设计itcast:order:shopId:num:date
                     */


                }
                long offset = records.get(records.size() - 1).offset();
                Map<TopicPartition, OffsetAndMetadata> topicPartitionOffsetAndMetadataMap = Collections.singletonMap(topicPartition, new OffsetAndMetadata(offset));
                kafkaConsumer.commitSync(topicPartitionOffsetAndMetadataMap);
            }
        }
    }
}
关于我转生变成程序猿这档事
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka（第四节）使用Kafka模拟实时数据看板项目
hwq317622817的博客
01-19 1120
实时数据看板项目 实时数据看板 简单说来，实时数据看板就是要将实时产生的业务数据，收集起来进行一定分析将分析结果以或文字或图表的形式展示出来 需求分析 本文模拟一个用于订单数据分析的实时数据看板 1、需要一个部署在linux服务器上的jar程序来模拟产生实时的订单数据； 2、需要一个工具来采集这些实时的订单数据，本文将通过jar程序将数据写入到一个log文件中，使用flume来采集log文件中的数据，既然是要做实时分析，那么flume的sink就不能是hdfs或hive的，因为hdfs需要依托hive才能做
第2节 storm实时看板案例：9、实时看板综合案例
dengmanzhou3124的博客
07-26 134
=================================== 10、实时看板案例 10.1 项目需求梳理 根据订单mq，快速计算双11当天的订单量、销售金额。 转载于:https://www.cnblogs.com/mediocreWorld/p/11247918.html...
KAFKA监控一条龙：史上最强Kafka看板+监控配置与告警规则
最新发布
虫虫的博客
05-29 361
KAFKA监控一条龙：史上最强Kafka看板+监控配置与告警规则
[干货]手把手带你了解实时看板(50PPT)
weixin_33736832的博客
05-02 339
实时看板开发最佳实践 其他贡献者 本文有6个部分：现实中的实时看板以及案例，挑战，设计模式，最佳实践，用REST API制作一个实时看板，总结。 1现实中的实时分析 变革中的机遇：信息爆炸，新视野－全世界90%的数据都在最近两年产生；向高速平价计算转移，按需计算—到2020年，全球45%的IT产业将会与“云”相关；精通数据的人才增加—善用数据分析...
storm01-实时看板案例
weixin_44553150的博客
01-06 284
10、实时看板案例 10.1 项目需求梳理 根据订单mq，快速计算双11当天的订单量、销售金额。 10.2 项目架构模型 支付系统+kafka+storm/Jstorm集群+redis集群 1、支付系统发送mq到kafka集群中，编写storm程序消费kafka的数据并计算实时的订单数量、订单数量 2、将计算的实时结果保存在redis中； 3、外部程序访问redis的数据实时展示结果。 10...
kafka监控配置和告警配置——筑梦之路
筑梦之路
05-21 458
kafka_exporter项目地址：https://github.com/danielqsj/kafka_exporter。
watermark kafka案例
03-08
本案例聚焦于Kafka中的Watermark机制，尤其在多分区环境下的应用，这在处理时间序列数据和流计算时显得尤为重要。Watermark机制是Flink、Spark等流处理框架中的关键概念，用于解决乱序事件的问题。 Kafka本身并不...
kafka案例代码
03-24
Kafka是由LinkedIn开发并随后贡献给Apache Software Foundation的一个开源项目，它被广泛用于实时数据流处理、消息传递以及大数据集成。 首先，我们要理解Kafka的核心概念。Kafka是一个发布/订阅消息系统，它允许...
kafka使用案例公共类
12-14
在Java开发中，Apache Kafka是一个广泛使用的分布式流处理平台，常用于构建实时数据管道和流应用。本案例中，我们关注的是如何在Java环境中利用Kafka进行消息发送和订阅操作。以下将详细介绍这些核心概念以及相关类...
storm-kafka实时趋势分析
01-23
本文将深入探讨"storm-kafka实时趋势分析"这一主题，讲解这两个技术如何协同工作，以及如何实现通用性强、适应多场景的实时趋势分析。 Storm是由Twitter开源的分布式实时计算系统，它可以持续地处理数据流，提供低...
springboot集成kafka简单入门案例
06-13
这只是一个简单的入门案例，实际上Kafka和Spring Boot的整合功能远不止这些。例如，您可以配置多个主题、设置消费者分组、实现幂等性消费者、处理异常、使用Kafka Streams进行复杂的数据处理等。随着对Kafka和Spring...
EQ大屏幕VB二次开发，企业用生产看板，实时连接K3生产任务单
07-19
对EQ2008_Dll大屏幕接口进行二次开发，连接公司内K3生产任务单，实际显示当前生产任务数量及完成情况。你自己可以改造实际大屏幕股票显示系统、实时通知显示系统。
Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)
01-07
本篇文章我们来解决第三个问题： kibana又如何用直观的显示我们希望看到的日志报表？ 根据数据显示看板，大致三步， 第一步是设置数据源，根据我们之前推送给elasticsearch的日志数据，使用management标签创建索引模式； 第二步根据第一步创建的索引模式，使用Visualize 标签页用来设计可视化图形； 第三步根据第二步做好的可视化图形，使用Dashboard标签来配置我们的看板 一、下面我们开始做第一步，创建索引： 目前有两天的数据，我们创建一个能包含这两天数据的索引模式：  创建好索引模式后，点击“Discover”标签后就可以看到我们创建的“errinfo-scm”
类似trello，开源看板工具wekan0.5版本
08-07
作为Trello的开源翻版, Wekan不需要再做太多的介绍. 普通用的kanban, Wekan已经足够. Wekan使用起来也非常方便, 其提供了很多方法, 还提供了docker的标准镜像, 你只需要pull下Wekan用来持久化的Mongodb, 和它自己的镜像mquandalle/wekan就可以直接两行docker run即可. 当然也可以使用其提供docker-compose的yml文件更加便捷. 但是由于在试验的过程中, 只能显示空白页面, 而这个共通问题在wekan的讨论区中也多次被人提起而至今似乎没有被重视. 其实在Local的机器登陆上去有时是可以正常访问的, 只是即使设定IP也无法从其他机器访问确实只好等待下一个版本解决这个问题了. 找到了一个Ubuntu下的自动安装脚本, 虽然还有一些瑕疵, 但是在此基础之上倒是确实提供了一个可以使用目前版本的Wekan的方法.
kafka消息可视化查看工具
04-11
1.可用于查看kafka内的消息数据，消息的偏移量，消费分组数等信息。 2.主要用于开发调试，勿过于依赖辅助工具，命令使用才是根本。
kafka可视化工具
qq_38274166的博客
12-10 4268
我们使用kafka Tool工具进行可视化 Kafka工具是一个管理和使用Apache Kafka集群的GUI应用程序。它提供了一个直观的UI，允许快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的特性。 下载地址：http://www.kafkatool.com/download.html 安装：按照提示一直下一步就可以。安装完...
Kafka入门及可视化界面推荐
沉梦听雨的博客
12-25 3068
*死信队列（Dead Letter Queue，简称 DLQ）**是消息中间件中的一种特殊队列。它主要用于处理无法被消费者正确处理的消息，通常是因为消息格式错误、处理失败、消费超时等情况导致的消息被"丢弃"或"死亡"的情况。当消息进入队列后，消费者会尝试处理它。如果处理失败，或者超过一定的重试次数仍无法被成功处理，消息可以发送到死信队列中，而不是被永久性地丢弃。在死信队列中，可以进一步分析、处理这些无法正常消费的消息，以便定位问题、修复错误，并采取适当的措施。
storm实时看板案例
Running_Tiger的博客
02-27 2316
storm实时看板案例1.项目需求根据订单mq，快速计算购物网站当天的订单量、销售金额。2.项目架构模型支付系统+kafka+storm/Jstorm集群+redis集群 支付系统发送mq到kafka集群中，编写storm程序消费kafka的数据并计算实时的订单数量、订单数量 将计算的实时结果保存在redis中 外部程序访问redis的数据实时展示结果 3.订单数据模型订单编号、订单时间、支付编号、
Kafka、Spring WebSocket 实时仪表盘
湖人•总冠军
02-22 960
Apache Kafka是一个pub-sub消息流，可用于创建企业消息队列。 Apache Kafka的Spring支持 Spring框架为Apache Kafka提供了实时发布和订阅数据的支持。 Spring WebSocket Spring框架还托管了一个名为Spring WebSocket的项目，该项目可用于实时在客户端和服务器之间来回发送消息。为此，Spring WebSocket...
大数据Spark+Kafka实时数据分析案例mac
05-11
很抱歉，我并不能提供实时数据分析案例的Mac版本。但是，您可以在以下网站上找到大量的Spark和Kafka案例： - Spark案例：https://spark.apache.org/examples.html - Kafka案例：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值