![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
番茄炒蛋213
stay hungry,stay foolish!
展开
-
Flink03 transformation-B side outputs
一、前言当您想要拆分数据流时,通常的做法是复制流,然后从每个流过滤出您不想拥有的数据,但是如果使用split 或者side output操作可以更好的解决这种问题。split和select组合使用,对流按照条件进行拆分,取出。但是有一定的局限性,就是只能分流一次,不支持二级分流。side outputs可以支持二级分流。二、实践2.1 split方式分流一次是可以的,分流两次就会报:Consecutive multiple splits are not supported. Spli原创 2020-07-05 15:01:46 · 199 阅读 · 0 评论 -
Flink获取外部传递参数的两种方式
目录一、前言二、实现2.1 通过参数方式直接传递2.2 通过配置文件来获取参数值一、前言在Spark或者Flink中,我们会对接Kafka,Kafka的参数比较多,如果我们希望通过灵活的方式修改参数,而不是把参数值硬编码到代码中,那么可以通过以下两种方式。二、实现我们可以使用Java的内置工具类ParameterTool.get()的方式获取传递的参数值2.1 通过参数方式直接传递/** * 从args中获取参数值 * 工具类:org.apac.原创 2020-06-11 10:36:39 · 4731 阅读 · 1 评论 -
Flink源码编译(Flink1.7.0+Hadoop2.6.0+CDH5.16.1)
Flink源码编译一、概述源码编译文档. https://ci.apache.org/projects/flink/flink-docs-release-1.8/flinkDev/building.html源码下载地址. https://github.com/apache/flink/releases前置条件. Maven 3. JDK8编译命令(hadoop和cdh换成自己...原创 2019-07-15 10:37:48 · 2244 阅读 · 0 评论 -
Flink对两个并行的数据源进行连接操作,如何保证数据的共享?
当对两个并行的数据源进行连接操作,如何保证数据的共享?1. 场景:在项目中,对两个数据源进行整合,出现了数据丢失的情况。 需求:Kafka数据中domain通过MySQL数据转换为userid Kafka(ip,domain,traffic)=Flink - connect=MySQL(userid,domain)==>Result(ip,userid,traffic) 数据源一...原创 2019-07-06 16:43:41 · 8524 阅读 · 0 评论