- 博客(9)
- 收藏
- 关注
RSS订阅原创 KafkaDeserializationSchema这个接口中的方法的用法？
Tuple2<String, String> deserialize(ConsumerRecord<byte[], byte[]> record) 每条Kafka消息都会调用该方法，并传递Kafka中的值boolean isEndOfStream(Tuple2<String, String> nextElement) 是否流结束，比如读到一个key为end的字符串结束，这里不再判断，直接返回false 不结束TypeInformation<Tuple2<S
2021-01-20 10:38:56
1646
原创 在建表的时候需不需要添加外键以保证数据的之间的一致性？
添加外键还是要根据业务架构来决定，学院派建议在建立数据库的时候必须添加外键，我的建议添加外键其实还是根据业务情况来确定。经查询我感觉一个答案比较符合这个实际上不是数据库的问题，而是架构的问题，使用外键与否，看你使用的框架是否有足够的事务管理能力，app server拓展起来要比db server要容易。外键约束的到底是什么？约束是以请求端不可信为前提，如果请求端可信的话外键存在的意义就不是重要，保证请求端可信即确保业务逻辑没有问题还有确保硬件可靠。...
2021-01-15 11:17:49
415
原创 在DataStream中的泛型中含有Tuple时，使用Lamada表达式时报错
今天在使用Flink 时泛型采用的时Tuple，在后面进行算子操作时，采用了lamada表达式发现，代码运行时报以下错误The generic type parameters of ‘Tuple3’ are missing. In many cases lambda methods don’t provide enough information for automatic type extraction when Java generics are involved. An easy workaroun
2021-01-12 10:42:25
1078
原创 FlinkTable中的美元符号 select$(“cID“) 在Java中如何表示
问题Flink对Scala的支持性真的非常棒，让只能用Java的人泪流满面，比如说这几天在学习Flink Table 时遇到的问题 在看官网时突然看到select$(“cID”) 这个，这个美元符号是什么鬼？我就想去看源码，一直没有找到相关的支持。直到我在学习如何将Table转换成DataStream调用其print()对其进行输出时，发现问题解决很简单解决问题导入import org.apache.flink.table.api.Expressions;调用Expressions.$("
2021-01-07 16:08:45
1107
原创 一个元素可以被放入多个窗口中，所以同时存在多个窗口是可能的？
问题来源今天在学习flink的时候 看到这句话“一个元素可以被放入多个窗口中，所以同时存在多个窗口是可能的？” 我瞬间对这句话产生了疑问。一个元素可以存在于多个窗口？问题解决首先 我们找出window的源码@PublicEvolving public <W extends Window> WindowedStream<T, KEY, W> window(WindowAssigner<? super T, W> assigner) { return new W
2020-12-29 16:23:49
223
原创 Flink上运行jar包时报错 Missing required configuration “key.serializer“ which has no default value.
业务flink将分析之后的数据放到Kafka上面遇到问题为了class被加载时就将配置加载进去，将所有的环境还有配置加static。public static Properties fromPro = new Properties(); public static Properties toFisPro = new Properties(); public static StreamExecutionEnvironment stream = StreamExecutionEnvironment.
2020-12-23 15:49:25
5358
原创 通俗易懂Flink的Event Time
Event Time概念Event Time指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间。如何理解？例如 在JAVA中 某个实体类 拥有一个属性 该属性为时间戳，这个时间戳可以是该实体类在运用时被赋的值。往大了说就是该事件发生时的时间，给它时间属性赋予了一个值从生活中理解如果我打你一下你记住了拿小本本记录下来 什么时间打的 就相当于Event Time如果我打你一下你没记住 就没有Event Time个人拙见 Event Time 就是可以自定义的这样Fli
2020-12-17 16:48:37
422
原创 记一次Flink addsink报错org.apache.kafka.common.serialization.StringSerializer
public static Properties pro = new Properties();pro.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); pro.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");由于之前一次疏忽便将原本的StringSerializer
2020-12-16 10:07:36
1751
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人