spark streaming +kafka(Python版)_7

最新推荐文章于 2024-09-29 09:35:36 发布

瞳小妞x

最新推荐文章于 2024-09-29 09:35:36 发布

阅读量1.1k

点赞数

@Spark实战(七)spark streaming +kafka(Python版)

                版权声明：本文为博主原创文章，未经博主允许不得转载。                    https://blog.csdn.net/u013305783/article/details/86513285                </div>
                      <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                          <div id="content_views" class="markdown_views prism-atom-one-dark">
        <!-- flowchart 箭头图标 勿删 -->
        <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
          <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
        </svg>
        <h1><a name="t0"></a><a id="ZooKeeper_0" target="_blank"></a>一、ZooKeeper集群搭建</h1>

（一）、集群部署的基本流程

下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

（二）、ZooKeeper集群搭建

1、下载安装包

去官网下载zookeeper压缩包

2、解压安装包

tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper

3、修改配置文件

cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg

 
 
 
 1
2

vi zoo.cfg 添加内容：

dataDir=/home/hadoop/zookeeper/data
dataLogDir=/home/hadoop/zookeeper/log
server.1=slave1:2888:3888 (主机名, 心跳端口、数据端口)
server.2=slave2:2888:3888
server.3=slave3:2888:3888

 
 
 
 1
2
3
4
5

创建文件夹：

cd /home/hadoop/zookeeper/
mkdir -m 755 data
mkdir -m 755 log

 
 
 
 1
2
3

在data文件夹下新建myid文件，myid的文件内容为：

4、修改系统环境变量

vi /etc/profile(修改文件)
添加内容：
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

执行source /etc/profile

5、分发安装包

scp -r /home/hadoop/zookeeper hadoop@mini2:/home/hadoop/
scp -r /home/hadoop/zookeeper hadoop@mini3:/home/hadoop/

 
 
 
 1
2

6、修改其他机器的配置文件

到mini2上：修改myid为：2，到mini3上：修改myid为：3

7、启动（每台机器）

zkServer.sh start

 
 
 
 1

8、查看集群状态

1、	jps（查看进程）
2、	zkServer.sh status（查看集群状态，主从信息）

 
 
 
 1
2

二、kafka集群安装

（一）、Kafka集群部署

1、下载安装包

去apache官网下载kafka

2、解压安装包

tar -zxvf kafka_2.11-2.0.1.tgz 并重命名为kafka

3、修改配置文件

cp   /home/hadoop/kafka/config/server.properties
/home/hadoop/kafka/config/server.properties.bak
vi  /home/hadoop/kafka/config/server.properties

 
 
 
 1
2
3

添加如下内容：

#broker的全局唯一编号，不能重复
broker.id=0

#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092

#处理网络请求的线程数量
num.network.threads=3

#用来处理磁盘IO的线程数量
num.io.threads=8

#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400

#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka运行日志存放的路径
log.dirs=/tmp/kafka-logs

#topic在当前broker上的分片个数
num.partitions=2

#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除
log.retention.hours=168

#滚动生成新的segment文件的最大时间
log.roll.hours=168

#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824

#周期性检查文件大小的时间
log.retention.check.interval.ms=300000

#日志清理是否打开
log.cleaner.enable=true

#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000

#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000

#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000

#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true

#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
host.name=mini1

4、分发安装包

scp -r kafka mini2:/home/hadoop将kafka复制到mini2和mini3上，并将broker.id改为不重复数字，host.name也改为相应的host

5、启动集群

依次在各节点上启动kafka bin/kafka-server-start.sh config/server.properties

6、Kafka常用操作命令

查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper  mini1:2181
创建topic
bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 1 --topic test
删除topic
bin/kafka-topics.sh --delete --zookeeper mini1:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息
kafka-console-producer.sh --broker-list mini1:9092 --topic itheima
通过shell消费消息
 bin/kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic test1
查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper mini1:2181 --group testGroup
查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper mini1:2181

 
 
 
 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

三、Spark streaming + spark

（一）、环境准备

下载spark-streaming-kafka-0-8_2.11-2.4.0.jar，因为目前spark-streaming-kafka-1.0还不支持python。

（二）、示例代码

from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
offsets = []

def out_put(m):
print(m)

def store_offset(rdd):
global offsets
offsets = rdd.offsetRanges()
return rdd

def print_offset(rdd):
for o in offsets:
print
“%s %s %s %s %s” % (o.topic, o.partition, o.fromOffset, o.untilOffset, o.untilOffset - o.fromOffset)

if name == “main”:
spark = SparkSession
.builder
.appName(“PythonWordCount”)
.master(“spark://mini1:7077”)
.getOrCreate()

sc = spark.sparkContext
ssc = StreamingContext(sc, 5)
sc.setCheckpointDir("/home/hadoop/log/kafka")

def updateFunc(new_values, last_sum):
    return sum(new_values) + (last_sum or 0)
# kafkaStream = KafkaUtils.createStream(ssc, \
# [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])
msg_stream = KafkaUtils.createDirectStream(ssc, ['test'],
                                           kafkaParams={"metadata.broker.list": "mini1:9092,"})
result = msg_stream.map(lambda x: x[1]).flatMap(lambda x: x.split(" ")).map(lambda x: (x, 1)).updateStateByKey(updateFunc,sc.defaultParallelism)
msg_stream.transform(store_offset,).foreachRDD(print_offset)
result.pprint()
ssc.start()
ssc.awaitTermination()

使用以下命令执行

spark-submit --master spark://mini1:7077 --class  sparkstreaming.KafkaStreaming --jars /home/hadoop/jar/kafka/spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.0  /tmp/pycharm_project_563/day5/DirectKafkaCount.py

 
 
 
 1

另起一个回话：执行生产者指令：

kafka-console-producer.sh --broker-list mini1:9092 --topic test

 
 
 
 1

此时python端就能看到获取到数据

      </div>
      <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
              </div>

欢迎使用Markdown编辑器

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

~~删除文本~~

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash