Spark+Kafka构建实时分析

本文介绍了如何使用Spark和Kafka构建实时分析系统。首先讲解了Spark和Kafka的安装配置,包括Spark环境搭建、数据转移到Ubuntu以及Kafka环境搭建。接着,通过Python操作Kafka,展示了如何使用Python的kafka-python库发送和接收数据。最后,详细阐述了Spark Streaming的实时数据处理,包括配置Spark与Kafka的连接,编写并运行Spark Streaming程序,以及如何验证数据处理的正确性。
摘要由CSDN通过智能技术生成

*Spark+Kafka构建实时分析*

*Dashboard 项目*

*一:实验环境准备*

*预备知识*

Linux系统命令使用、了解如何安装Python库、安装kafka。

*训练技能*

熟悉Linux基本操作、Pycharm的安装、Spark安装,Kafka安装,PyCharm安装。

*任务清单*

\1. Spark安装(略)

\2. Kafka安装

\3. Python安装(略)

\4. Python依赖库

\5. PyCharm安装(略)

一、系统和软件的安装

一、项目环境搭建。

(一)、spark搭建

我之前已搭建完成,在终端打开如下

pyspark

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Ui4UJVc-1620658414735)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps1.jpg)]

(二)数据转移到Ubuntu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LuKTadav-1620658414736)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps3.jpg)]

(三)、kafka环境搭建

把下载的kafka安装包解压到自己的目标文件夹下面,然后在如下操作:

`****切换到kafka的目录下****

****bin/zookeeper-server-start.sh /home/thc/spark/kafka_2.11-2.4.0/config/zookeeper.properties****`

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PI6w29jX-1620658414739)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps4.jpg)]

*****启动kafka*

重新打卡一个新的终端,切换到kafka的目录下

***\*bin/kafka-server-start.sh config/server.properties\****

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cr6G1kRT-1620658414740)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps5.jpg)]

*以单节点的配置创建了一个叫dblab的topic.可以用list列出所有创建的topics,来查看刚才创建的主题是否存在。********也是重新打开终端。*

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9AtQJA5g-1620658414742)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps6.jpg)]

在结果中查看到dblab这个topic存在

bin/kafka-topics.sh --list --zookeeper localhost:2181

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k6ObQGkY-1620658414742)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps7.jpg)]

用producer生产点数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RMQGcwWf-1620658414743)(file:///C:\Users\xyyth\AppData\Local\Temp\ksohtml2128\wps8.jpg)]

使用consumer来接收数据,重新打开新终端接受数据

bin/kafka-console-consumer.sh --bootstrap-serv

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值