实验8 Flink初级编程实践

由于CSDN上传md文件总是会使图片失效
完整的实验文档地址如下:
https://download.csdn.net/download/qq_36428822/85814518


实验环境

实验环境:本机:Windows 10 专业版 Intel® Core™ i7-4790 CPU @ 3.60GHz 8.00 GB RAM 64 位操作系统, 基于 x64 的处理器 Oracle VM VirtualBox
虚拟机:Linux Ubuntu 64-bit RAM 2048MB 处理器数量 4 显存大小 64MB

实验内容与完成情况:

  1. 使用IntelliJ IDEA工具开发WordCount程序
    在Linux操作系统中安装IntelliJ IDEA,然后使用IntelliJ IDEA工具开发WordCount程序,并打包成JAR包,提交到Flink中运行。
    安装Flink并启动:
    安装maven:

使用IntelliJ IDEA写java:

使用maven打包JAR包

运行JAR包结果:

  1. 数据流词频统计
    使用Linux操作系统自带的NC程序模拟生成数据流,不断产生单词并发送出去。编写Fink程序对NC程序发来的单词进行实时处理,计算词频,并输出词频统计结果。要求首先在IntelliJ IDEA中开发和调试程序,然后打包成JAR包部署到Flink中运行。
    使用IntelliJ IDEA写java:

运行NC并输入数据:

运行JAR包:

在flink控制台查看输出情况:

出现的问题:

  1. Idea里面引用flink报错
  2. Maven打包太慢
  3. Nc程序运行后程序没有输出

解决方案:

  1. 可以使用idea写代码,然后用maven打包
  2. 可以在maven的config里面部署阿里云的镜像,下载速度很快,和sbt相同
  3. Nc程序需要手动输入一些数据,然后在flink控制台查看输出,地址为:http://自己的ip地址:8081
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是小猪猪哦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值