使用Kafka构建一个文本数据流

已于 2022-12-26 10:42:54 修改
阅读量1.1k 收藏 2
点赞数 1
分类专栏： flink 文章标签： kafka 分布式
于 2022-09-28 16:01:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqc_kkk/article/details/127090377
版权

本文目的仅为方便个人后续启动服务的重复操作

环境：在windows中使用VMware Workstation安装的Ubuntu

1、Kafka安装

首先在虚拟机中找到压缩包的位置，打开命令行
在这里插入图片描述
解压到/usr/lib位置，注意每个人的版本不同所以要根据自己实际的文件情况解压，我这里的版本是（kafka_2.12-3.1.0.tgz）

tar -xzf kafka_2.12-3.1.0.tgz -C /usr/lib

进入到解压的位置（如果指定了解压位置就要先进入到解压目录）
例如这里要先

cd /usr/lib

进入到Kafka

cd kafka_2.12-3.1.0

由于文件名太长了这里改一下它的名字成kafka
(前面一个是原来的文件名和地址，第二个是要改成的文件名和地址)
相当于移动文件了

sudo mv ./kafka_2.12-3.1.0 ./kafka

2、启动服务

这里要在Kafka文件目录下（下面新开的所有命令行均在Kafka目录中）
在这里插入图片描述
启动ZooKeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

再开启一个命令行会话，启动Kafka

bin/kafka-server-start.sh config/server.properties

3、创建Topic

开启一个命令行会话，创建一个名为Shakespeare的Topic:

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic Shakespeare

查看已有的Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

在这里插入图片描述

4、发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Shakespeare

>To be, or not to be, that is the question:

5、消费数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Shakespeare --from-beginning

在这里插入图片描述

上课不要睡觉了
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spring Boot进阶(27)：Kafka大显身手，快速构建消息驱动应用！
**My Coding Family**
09-10 1万+
Springboot集成 kafka，环境搭建+实例演示，超级详细！
kafka接收mqtt数据_使用MQTT发送和接收下一个项目的数据
cumo7370的博客
07-03 3993
kafka接收mqtt数据 去年11月，我们买了一辆电动汽车，这引起了一个有趣的问题：我们什么时候应该充电？ 我担心汽车充电所用的排放量最低，所以这是一个具体的问题：在任何给定时间，每千瓦时的二氧化碳排放率是多少？白天是什么时候最低？ 查找数据 我住在纽约州。 我们约80％的电力来自州内发电，主要来自天然气，水坝（其中大部分来自尼亚加拉大瀑布），核能以及一些风能，太阳能和其他化石燃料。 ...
使用Apache Kafka构建实时数据流-数据见UserBehavior.csv
thuink的博客
05-26 623
Spark Streaming+kafka任务实践
kafka造数据
u011624157的专栏
03-10 855
Java代码从csv文件中读取数据，然后通过kafka包中的kafka-console-producer.sh进行写入，代码如下 Java代码 public class SourceGenerator { private static final long SPEED = 1000; // 每秒1000条 public static void main(String[] a...
kafka-Stream详解篇（附案例）
最新发布
A的博客
06-29 1596
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无任何外部依赖充分利用Kafka分区机制实现水平扩展和顺序性保证通过可容错的state store实现高效的状态操作（如windowed join和aggregation）
Kafka数据流：让流处理更轻松
Er8cJiang的博客
03-16 8334
很高兴宣布，Apache Kafka的一项新功能预览叫Kafka Streams。Kafka Streams是一个使用Apache Kafka用于构建分布流处理应用的Java库。这将是即将更新Kafka-0.10版本的一部分，并且已经提供可以很容易试用的预览版。   使用Kafka Stream构建一个流处理应用如下所示:   尽管还是一个很简陋的库，但是Kafka　Stream解决了许多流
使用 Apache Kafka 构建 Rust 微服务
分享身边生活经验blog
09-26 1507
微服务是执行特定任务的小型独立应用程序，这些任务对于解耦复杂应用程序的组件和促进分布式应用程序都很有用。将微服务视为更大规模的对象。与对象类似，微服务是独立的，可以重用。但是，两者之间的显着区别在于它们返回数据的位置。对象直接获取和返回数据，而微服务将数据返回到池中。微服务允许开发人员使用不同的编程语言构建应用程序。微服务中的错误很少会导致整个应用程序崩溃。Kafka 是一个用于读取和写入数据的事件流平台，可以轻松连接微服务。要了解有关 Kafka 的更多信息，请查看此Kafka 实时数据流应用教程。
Kafka能处理流式数据吗？
金木编程
04-24 184
2、流式处理是一种数据处理方式，其中数据流在实时或接近实时的速度下被处理，以满足实时需求。在流式处理中，数据以连续的流的形式传输，并且数据通常不会被完全存储在内存或磁盘中，而是通过流式处理引擎进行实时处理和分析。流式处理通常需要使用专门的流式处理技术和工具，如Apache Kafka、Apache Flink、Apache Spark等。3、Kafka除了可用作流式处理框架可靠的数据来源外，还提供了一个强大的流式处理开发库，叫做 Kafka Stream。
kafka生产数据
weixin_43956381的博客
11-26 406
1.导入maven <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2.创建kafk...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为stream： // Kafka参数 Properties propert
Kafka 是如何建模数据的？
Miracle
07-12 284
Kafka 是一个高度可扩展的消息系统，具有优秀的水平可扩展性和高吞吐率的特点，因而被许多公司所青睐并得到广泛的使用。本文首先介绍 Kafka 诞生的时代背景以及诞生之初的设计目标，随后回答 Kafka 作为一个消息系统是如何建模数据的，最后讲解 Kafka 作为一个软件系统的架构，为有志于深入了解的 Kafka 的同学做一个简单的框架梳理。
制造数据用kafka发送
zty19940628的博客
05-12 239
import java.io.PrintWriter import java.text.SimpleDateFormat import java.util.{Date, Properties} import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} /** * Created by xiang on 2020/5/11. */ object SparkTrafficMockData { def mai
Kafka能做什么？十分钟构建你的实时数据流管道
皮皮鲁的AI星球
12-08 771
本文将对Kafka做一个入门简介，并展示如何使用Kafka构建一个文本数据流管道，通过本文，读者可以了解一个流处理数据管道（Pipeline）的大致结构：数据生产者源源不断地生成数据流，数据流通过消息队列投递，数据消费者异步地对数据流进行处理。 Kafka简介 2010年，LinkedIn开始了其内部流数据处理平台的开发，2011年将该系统捐献给了Apache基金会，取名Apache Kafka（...
「Kafka」Kafka生产数据和消费数据（三）
技术路上的探险家
04-25 1787
把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。
Apache Kafka - 流式处理
热门推荐
小工匠
06-03 1万+
Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时响应的应用程序，例如实时监控和警报、实时推荐、实时广告投放等。Kafka的设计使其成为流式处理系统的理想数据源，因为它具有高吞吐量、低延迟和可靠性，并且能够轻松地扩展以处理大量数据。
Flume学习10_Flume->Kafka数据流操作
wang_zhenwei的博客
10-30 1363
Kafka启动 启动Zookeeper和Kafka，过程省略   新建一个Topic，并启动，Topic的名字与下面的名字应该对应，都是topic1： [hadoop@Slave1 bin]$ sh kafka-topics.sh --create --topic flume1 --replication-factor 1 --partitions 1 --zookeeper Slave1
Kafka 入门：流式数据平台（一）
AcWare 学习笔记
11-13 435
Kafka 入门：流式数据平台（一）
Spark+Kafka构建实时分析Dashboard案例
05-24
首先，让我们了解一下Spark和Kafka的基本概念和用途： - Spark：Apache Spark 是一个快速，通用，可扩展的大数据处理引擎，可用于批处理，流处理和机器学习等任务。 - Kafka：Apache Kafka 是一个分布式流处理平台，可以用于快速、可靠地处理大量实时数据流。 现在我们来构建一个实时分析Dashboard的案例，该案例将从Kafka主题中读取实时数据，使用Spark Streaming进行处理和分析，并将结果显示在Dashboard上。 以下是实现此案例的步骤： 1. 创建Kafka主题并发送数据 首先，我们需要创建一个Kafka主题，并使用生产者向该主题发送数据。可以使用Kafka提供的命令行工具或任何Kafka客户端库来执行此操作。例如，使用命令行工具创建名为“test”主题： ``` bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ``` 使用生产者向该主题发送数据： ``` bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test ``` 在控制台中输入数据并按“Enter”键，该数据将被发送到Kafka主题中。 2. 使用Spark Streaming读取数据 使用Spark Streaming从Kafka主题中读取数据，可以使用Spark Streaming提供的Kafka Direct API。首先，需要添加以下依赖项到项目中： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.5</version> </dependency> ``` 然后，使用以下代码从Kafka主题中读取数据： ```scala import org.apache.spark.streaming.kafka010.KafkaUtils import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> classOf[StringDeserializer], "value.deserializer" -> classOf[StringDeserializer], "group.id" -> "test-group", "auto.offset.reset" -> "latest", "enable.auto.commit" -> (false: java.lang.Boolean) ) val topics = Array("test") val stream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topics, kafkaParams) ) val lines = stream.map(record => record.value) ``` 上述代码使用Kafka Direct API创建了一个DStream对象，该对象包含了从Kafka主题中读取的实时数据。 3. 处理和分析数据 现在，我们可以使用Spark Streaming提供的各种转换操作来处理和分析数据。例如，下面的代码计算每个单词的出现次数： ```scala val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _) ``` 上述代码使用flatMap操作将每一行的文本拆分为单词，然后使用map和reduceByKey操作计算每个单词的出现次数。 4. 显示结果 最后，我们可以使用任何Web框架（如Flask或Django）创建一个实时Dashboard，并将结果显示在其中。例如，可以使用Flask框架创建一个Dashboard，如下所示： ```python from flask import Flask, render_template from pyspark.sql import SparkSession app = Flask(__name__) spark = SparkSession.builder.appName("Dashboard").getOrCreate() @app.route("/") def dashboard(): wordCounts = spark.sql("select word, count from wordCounts") return render_template("dashboard.html", wordCounts=wordCounts.collect()) if __name__ == "__main__": app.run(debug=True) ``` 上述代码使用Spark SQL从Spark Streaming生成的RDD中读取结果，并将其传递给Dashboard。Dashboard可以使用JavaScript库（如D3.js）创建交互式可视化效果。 总结： 使用Spark和Kafka可以轻松构建实时分析Dashboard。Spark Streaming提供了Kafka Direct API，可以从Kafka主题中读取实时数据，并使用各种Spark转换操作进行处理和分析。最后，可以使用任何Web框架创建一个Dashboard，并将结果显示在其中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值