【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0010--flink分布式部署005

183 篇文章 0 订阅
86 篇文章 57 订阅

一、flink流处理测试

0.测试规划如下:

这里写图片描述

1.消息发送者
    在qingcheng12的9874端口发送消息
2.消息处理者
    qingcheng13上提交${FLINK_HOME}/examples/streaming/SocketWindowWordCount.jar 
3.消息处理集群
    主节点:
        qingcheng11
    从节点:
        qingcheng11
        qingcheng12
        qingcheng13
4.结果输出
    计算结果将输出到主节点的${FLINK_HOME}/log/中
    也就是本例中的${FLINK_HOME}/log/flink-root-taskmanager-1-qingcheng11.out

1. 打开消息发送端

执行命令:

nc -l -p  9874

2. 打开消息处理端

打开flink流消息处理client程序
执行命令:

${FLINK_HOME}/bin/flink run  ${FLINK_HOME}/examples/streaming/SocketWindowWordCount.jar \
--hostname  qingcheng12 \
--port   9874

执行效果:

这里写图片描述

3. 打开消息输出端

3.1 找到输出文件

找到有输出内容的flink--taskmanager--*.out文件,这里讲会有处理日志的输出。

cd ${FLINK_HOME}/log/
ll

本例中找的的文件名为flink-root-taskmanager-1-qingcheng11.out

3.2 查看输出文件内容
tail -f flink-root-taskmanager-1-qingcheng11.out

4. 输入数据 ,运行程序

在消息发送端不断的输入单词,则可以看到在消息输出端有新内容不断的输出。

4.1 在本例中,像下面的样子发送数据:
flink spark
storm hadoop
hadoop hue
flink flink
spark flume
...........
...........
...........
4.2 在本例中,输出的数据像下面的样子:
hadoop : 4
flume : 1
hue : 1
flink : 3
storm : 1
spark : 2
hadoop : 2
flume : 1
...........
...........
........... 
4.3 在本例中,执行效果像下面的样子:

这里写图片描述

4.4在本例中,flink的webUI效果像下面的样子:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值