Kafka Stream 初体验

最新推荐文章于 2024-07-11 16:53:39 发布
最新推荐文章于 2024-07-11 16:53:39 发布
阅读量115 收藏
点赞数
文章标签： 大数据 java
原文链接：https://my.oschina.net/Rayn/blog/1057750
版权

1.使用的kafka 版本：  0.10.2.1

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.xxx.api</groupId>
    <artifactId>xxx</artifactId>
    <version>1.0.0</version>
    <name>开放服务调用框架</name>

    <developers>
        <developer>
            <id>412552703</id>
            <name>Ryan</name>
            <email>liuwei412552703@163.com</email>
        </developer>
    </developers>

    <repositories>
        <repository>
            <id>aliyun</id>
            <name>ali nexus</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>mvnrepository</id>
            <name>mvn repository</name>
            <url>http://mvnrepository.com/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>springframework repository release</id>
            <url>http://maven.springframework.org/release/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Spring Plugins</id>
            <name>Spring Plugins</name>
            <url>http://repo.spring.io/plugins-release/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Spring Libs</id>
            <name>Spring Libs</name>
            <url>http://repo.spring.io/libs-milestone/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>JBoss Releases</id>
            <name>JBoss Releases</name>
            <url>https://repository.jboss.org/nexus/content/repositories/releases/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>apache-repo</id>
            <name>Apache Repository</name>
            <url>https://repository.apache.org/content/repositories/releases</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>cloudera-repo</id>
            <name>Cloudera Repository</name>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>mapr-repo</id>
            <name>MapR Repository</name>
            <url>http://repository.mapr.com/maven</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>spring-releases</id>
            <name>Spring Release Repository</name>
            <url>http://repo.spring.io/libs-release</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Hortonworks</id>
            <name>Hortonworks</name>
            <url>http://repo.hortonworks.com/content/repositories/releases/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Cloudera</id>
            <name>Cloudera</name>
            <url>https://repository.cloudera.com/content/repositories/releases/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>WSO2</id>
            <name>WSO2</name>
            <url>http://dist.wso2.org/maven2/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Java.net Releases</id>
            <name>Java.net Releases</name>
            <url>https://maven.java.net/content/repositories/releases/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Alfresco Public</id>
            <name>Alfresco Public</name>
            <url>https://artifacts.alfresco.com/nexus/content/repositories/public/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Boundless</id>
            <name>Boundless</name>
            <url>http://repo.boundlessgeo.com/main/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>OpenNMS</id>
            <name>OpenNMSe></name>
            <url>http://repo.opennms.org/maven2/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>Redhat GA</id>
            <name>Redhat GA</name>
            <url>https://maven.repository.redhat.com/ga/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>JBoss 3rd-party</id>
            <name>JBoss 3rd-party</name>
            <url>https://repository.jboss.org/nexus/content/repositories/ea/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>NetBeans</id>
            <name>NetBeans</name>
            <url>http://bits.netbeans.org/maven2/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
    </repositories>

    <properties>
        <kafka.version>0.10.2.1</kafka.version>
        <project.build.outputEncoding>UTF-8</project.build.outputEncoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.project.outputEncoding>UTF-8</project.project.outputEncoding>
    </properties>

    <dependencies>
    
        <!-- ======================================= Kafka Client Jar Package  ================================================ -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>${kafka.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>${kafka.version}</version>
        </dependency>


    </dependencies>
    <build>
        <finalName>${project.artifactId}-${project.version}</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                    <encoding>utf-8</encoding>
                </configuration>
            </plugin>


        </plugins>
    </build>
</project>

如上POM.xml中，删减了部分其他jar ，缺少的jar 读者可自行补充。

 

2. Producer 端代码编写

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Properties;

/**
 * <pre>
 * User:        Ryan
 * Date:        2017/6/28
 * Email:       liuwei412552703@163.com
 * Version      V1.0
 * Discription:
 */
public class KafkaStreamProducer {

    private static final Logger LOG = LoggerFactory.getLogger(KafkaStreamProducer.class);

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.1.225:9092");
        props.put("acks", "all");
        props.put("retries", 1);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 1000000; i++) {
            String message = "这是 一条 测试 消息 , 编号:";
            producer.send(new ProducerRecord<String, String>("ryan_test", Integer.toString(i), message));
            LOG.info("测试发送消息: {}", message);
            Thread.sleep(1000);
        }

        producer.close();
    }
}

 

3. Consumer 端代码编写

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.KeyValue;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Arrays;
import java.util.Locale;
import java.util.Properties;

/**
 * <pre>
 * User:        Ryan
 * Date:        2017/6/28
 * Email:       liuwei412552703@163.com
 * Version      V1.0
 * Discription: Kafka Stream
 */
public class KafkaStreamWordCount {

    private static final Logger LOG = LoggerFactory.getLogger(KafkaStreamWordCount.class);

    private static final String topic = "ryan_test";

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-wordcount");
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.225:9092");
        props.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
        props.put(StreamsConfig.VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 5);

        KStreamBuilder builder = new KStreamBuilder();
        KStream<String, String> source = builder.stream(topic);

        KTable<String, Long> counts = source.flatMapValues(new ValueMapper<String, Iterable<String>>() {
            @Override
            public Iterable<String> apply(String value) {
                return Arrays.asList(value.toLowerCase(Locale.getDefault()).split(" "));
            }
        }).map(new KeyValueMapper<String, String, KeyValue<String, String>>() {
            @Override
            public KeyValue<String, String> apply(String key, String value) {
               LOG.info("{} : {}", key, value);
                return new KeyValue<>(value, value);
            }
        }).groupByKey().count("Counts");

        counts.to(Serdes.String(), Serdes.Long(), topic);


        counts.writeAsText("E:/ttt", Serdes.String(), Serdes.Long());


        KafkaStreams streams = new KafkaStreams(builder, props);
        streams.start();


        Thread.sleep(50000000L);


        streams.close();

    }
}

在这里，我将结果做了保存  E:/ttt 文件中。当然，你也可以调用 counts.print() 直接打印到控制台来查看。

 

最终的效果如下：

 

144040_cgU9_571282.png

    上图为producer 端截图。

 

144128_hwCX_571282.png

上图为kafka stream 消费 kafka 消息，并执行任务计算。

 

 

 

转载于:https://my.oschina.net/Rayn/blog/1057750

chuhui1765
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka Streams入门指南
大米瓶子的博客
06-10 2万+
应该会有不少人觉得我标题打错了，是不是想讲SparkStreaming或者Kafka+SparkStreaming啊？实际上这不是笔误，Kafka Streams是Kafka 0.10提供的新能力，用于实时处理Kafka中的数据流，和现有的流处理技术如SparkStreaming，Storm，Flink还是有些区别的。 1 概况     Kafka Streams是一套处理分析Ka
KafkaStream之时间窗口WindowBy详解
02-24
KafkaStream之时间窗口WindowBy的详细解释和例子接收，阐述grace方法和suppress方法 的妙用，还有自定义TimeStampExtractor的详细示例
Kafka Java客户端Stream API
小灰狼与大白兔的博客
02-10 5785
Kafka Stream概念及初识高层架构图 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，Kafka Stream就是一个用来做流计算的类库，与Storm、Spark Streaming、Flink的作用类似，但要轻量得多。 Kafka Stream的基本概念： Kafka Stream是处理分析存储在Kafka数据的客户端程序库（lib） 由于Kafka Streams是Kafka的一个
六、Kafka Stream的介绍与使用
猿小许的博客
07-07 1747
一、物理层概念 1.1 物理层的功能 物理层解决如何来连接各种计算机的传输媒体（电缆、光纤电缆等）上传输数据比特流，而不是指具体的传输媒体。 物理层主要任务：确定与传输媒体接口有关的一些特性 定义标准 1.2 物理层四大特性 机械特性： 定义物理连接的特性，规定物理连接时所采用的规格、接口形状、引线数目、引脚数量和排列情况等 电器特性：规定传输二进制位时，线路上信号的电压范围、阻抗匹配、传输速率和距离限制等。 功能特性：指明某条线路上出现的某一电平表示何种意义，接口不...
Kafka Stream
子清的博客
12-16 942
文章目录一、Kafka Stream背景1. Kafka Stream是什么2. 什么是流式计算3. 为什么要有Kafka Stream二、Kafka Stream架构1. Kafka Stream整体架构2. Processor Topology3. Kafka Stream并行模型4. KTable vs. KStream5. State store三、Kafka Stream如何解决流式系统中关键问题1. 时间2. 窗口3. Join4. 聚合与乱序处理5. 容错四、Kafka Stream应用示例五
Kafka-[3]-KafkaStream
hjw199089的博客
05-07 2167
Step 8: Use Kafka Streams to process data Kafka Streams is a client library of Kafka for real-time stream processing and analyzing data stored in Kafka brokers.  /** * Licensed to the Apache So
springboot-kafkastream:Spring Boot 1.5和Kafka流示例
05-08
本文将围绕"springboot-kafkastream"项目，深入探讨Spring Boot 1.5版本如何与Kafka流进行集成，以及相关的核心知识点。 首先，我们需要理解Spring Boot 1.5的基础特性。Spring Boot简化了Spring应用的初始设置，...
kafka stream in action
11-23
kafka stream in action 大数据流式处理 很不错的进阶书籍
Kafka Stream in Action 2018 REP 最新版
01-18
鄙视一下那些拿着2017年的粗糙版本乱上传的兄弟，此版为2018REP修正版
Confluent之Kafka Connector初体验.doc
07-09
Apache Kafka 是一个强大的分布式流处理平台，最初由 LinkedIn 开发并开源。Kafka 主要用于构建实时数据管道和流应用程序，允许在生产者和消费者之间高效地传输大量数据。Kafka 的核心特点是高吞吐量、低延迟以及...
Kafka Stream 类库的使用入门
Poppy_Evan的博客
02-27 5435
一，Kafka Stream简介Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。它建立在流处理的一系列重要功能基础之上，比如正确区分事件事件和处理时间，处理迟到数据以及高效的应用程序状态管理。总而言之，Kafka Stream 并不是像Hadoop spark等一样的框架，而仅仅是一...
Kafka Stream 以及其他流处理框架对比
weixin_30872337的博客
09-15 618
1. Kafka Stream Introduction 假设我们需要对kafka 消息做流数据分析，例如： 对部分消息做过滤 每分钟计算一次收到了多少消息 这种情况下，对于消息过滤以及定时统计，甚至是进行流的合并，是几个基本的流式处理。但是在这种情况下，仅使用Kafka Producer 与 Consumer 很难实现这些功能，因为它们属于非常底层的API，并且并不是d...
Spring 4发送HTML/纯文件邮件并且携带邮件附件
chuhui1765的博客
10-24 167
applicationContext文件配置内容如下： <bean id="emailTemplate" class="org.springframework.mail.javamail.JavaMailSenderImpl"> <propert...
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
jiang0615csdn的博客
07-11 80
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
阶段三：项目开发---大数据开发运行环境搭建:任务8：安装配置Redis
qq_60872637的博客
07-07 1229
安装配置Redis： 安装配置Redis：无Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI编写、支持网络、可基于内存亦可持久化的日志型、Key-Value，并提供多种语言的API。任务主要内容是Redis的下载安装，启动测试以及出现问题的相应解决方法。
【分布式系统】ELK 企业级日志分析系统
F12138X的博客
07-06 1092
纵使黑夜吞噬了一切，太阳还是可以重新回来
kibana连接elasticsearch(版本8.11.3)
最新发布
abments的博客
07-11 441
kibana连接elasticsearch(版本8.11.3)
分布式系统—ELK日志分析系统概述及部署
aran2002的博客
07-08 1507
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称，但是filebeat可以用来替代logstash的数据收集功能，比较轻量级。市面上也被称为Elastic Stack。2.ELK组件ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
第一关kafka-初体验
12-01
以下是kafka的初体验步骤： 1. 下载并解压kafka ```shell wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz tar -xzf kafka_2.13-2.8.0.tgz cd kafka_2.13-2.8.0 ``` 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值