Flink
第四代流处理器,实时处理
CoreDao
软件工程学习者 | 学习无止境,路上且行且珍惜
展开
-
flink中的keyBy中的key
这个key是虚拟key,没有实体,所以不会返回。其是从进来的流数据中选取的字段。关键看这个虚拟key是什么类型。KeyedStream<Tuple3<String, String, Integer>, Tuple> keyedStream = map.keyBy(0);keyedStream.print();KeyedStream<Tuple3<String, String, Integer>, String> KeyedStream5 = map.原创 2021-04-03 16:24:24 · 537 阅读 · 0 评论 -
flink中sink出Csv格式注意
A1 报错A2 原因见官网中,需要写入元组格式https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/datastream_api.html#data-sinksA3 解决csv需要以逗号作为分隔符,而tuple(元组)的toString方法正好是以逗号分割。...原创 2021-04-03 16:22:30 · 844 阅读 · 0 评论 -
flink中获取执行计划报错IllegalStateException Cteate breakpoint
A1 报错A2 原因获取执行计划方法需要放在操作之后A3 解决A4 补充flink执行计划网址:https://flink.apache.org/visualizer/使用方法拷贝添加执行计划方法后控制台打印的json数据粘贴到网址中的输入框中这是计划执行的图,实际执行的图在执行后的webUI界面中。A5 问题有兴趣的小伙伴可以比较一下flink的计划执行和实际执行的两张图有什么不同?为什么会不同呢?欢迎在评论区打出你的答案。...原创 2021-04-03 16:16:34 · 305 阅读 · 0 评论 -
flink中使用webUI查看信息时job not found
A1 报错这个报错不影响执行A2 原因上一次任务的webUI界面没有关闭,导致flink请求一个不存在的网页A3 解决关闭上次任务的网页(删掉后面的url信息)原创 2021-04-03 16:07:13 · 1340 阅读 · 1 评论 -
flink中报错JobExecutionException错误
A1 报错A2 原因代码中使用了socket作为DataSource,如果socket监听的端口没有打开,即lLinux下nc -lk 端口号或者Windows下nc -L -p 端口号,那么就会报错。比如,我在代码中指定端口为9999.A3 解决在终端开启监听端口...原创 2021-04-03 16:02:38 · 565 阅读 · 0 评论 -
flink中maven项目出现java: 程序包org.apache.flink.api.java不存在
A1 报错java: 程序包org.apache.flink.api.java不存在A2 原因idea的maven找不到你的Java的jar包A3 解决第一种:重启项目,然后刷新maven(刷新按钮或者clean+install)第二种:在idea中终端输入命令:mvn idea:idea第三种:根据提示进行...原创 2021-04-03 15:57:04 · 8279 阅读 · 0 评论 -
Flink中使用Scala编写出现(...)错误
A1 报错A2 原因没有导入相应包A3 解决在算子前添加import org.apache.flink.api.scala._原创 2021-04-03 15:48:53 · 375 阅读 · 0 评论 -
Flink中使用lambda表达式出现的问题
A1 报错A2 原因lambda表达式编写方式不自动识别返回类型,需要手动跟上returns指定类型。源码:/** * Adds a type information hint about the return type of this operator. This method * can be used in cases where Flink cannot determine automatically what the produced * type of a function原创 2021-04-03 15:45:33 · 519 阅读 · 0 评论 -
Flink中NoClassDefFoundError环境报错
A1 报错A2 原因scope provided:用于打包的时候不包含这个依赖,以便增强代码移植性。A3 解决原创 2021-04-03 15:31:20 · 836 阅读 · 1 评论 -
Flink浅谈入门+vsSparkStreaming+流语义性etc.
Flinkhttps://flink.apache.org/zh/1.???? what1.1 奥义1.1.1 起源10年,德国柏林几个大学对大数据进行处理,流式计算的研究项目。14年,源代码捐给了Apache基金会,成为孵化项目15年1月,短短几个月,成为Apache顶级项目,应用广泛17年,阿里巴巴接手,投入大量人力物力1.1.2 了解Flink德语:快速灵巧logo小故事:源于德国柏林,地区多红棕色松鼠,特点是快速灵巧。红棕色又与Apache基金会logo一致,原创 2021-03-08 15:14:53 · 340 阅读 · 0 评论