一、flink流处理测试
0.测试规划如下:
1.消息发送者
在qingcheng12的9874端口发送消息
2.消息处理者
qingcheng13上提交${FLINK_HOME}/examples/streaming/SocketWindowWordCount.jar
3.消息处理集群
主节点:
qingcheng11
从节点:
qingcheng11
qingcheng12
qingcheng13
4.结果输出
计算结果将输出到主节点的${FLINK_HOME}/log/中
也就是本例中的${FLINK_HOME}/log/flink-root-taskmanager-1-qingcheng11.out
1. 打开消息发送端
执行命令:
nc -l -p 9874
2. 打开消息处理端
打开flink流消息处理client程序
执行命令:
${FLINK_HOME}/bin/flink run ${FLINK_HOME}/examples/streaming/SocketWindowWordCount.jar \
--hostname qingcheng12 \
--port 9874
执行效果:
3. 打开消息输出端
3.1 找到输出文件
找到有输出内容的flink--taskmanager--*.out文件,这里讲会有处理日志的输出。
cd ${FLINK_HOME}/log/
ll
本例中找的的文件名为flink-root-taskmanager-1-qingcheng11.out
3.2 查看输出文件内容
tail -f flink-root-taskmanager-1-qingcheng11.out
4. 输入数据 ,运行程序
在消息发送端不断的输入单词,则可以看到在消息输出端有新内容不断的输出。
4.1 在本例中,像下面的样子发送数据:
flink spark
storm hadoop
hadoop hue
flink flink
spark flume
...........
...........
...........
4.2 在本例中,输出的数据像下面的样子:
hadoop : 4
flume : 1
hue : 1
flink : 3
storm : 1
spark : 2
hadoop : 2
flume : 1
...........
...........
...........
4.3 在本例中,执行效果像下面的样子:
4.4在本例中,flink的webUI效果像下面的样子: