- 博客(11)
- 收藏
- 关注
原创 java &&和||的执行顺序与优先级
结论:&&优先级高,但却不是先计算,而是把&&左右两边的计算相当于套了个括号,看成了一个整体,再按照从左到右的顺序计算;给||打上括号,把原有&&的高优先级抹除,可以看到。b却因为&&的短路而未计算右侧两个异常除法;b因为计算了最右侧的1/0==1报错;a正在运行,结果为true;a因为计算最右侧逻辑报错;
2023-11-23 11:30:55 892
原创 关于--Flink的从Kafka中读取再写入Kafka如何实现的ExactlyOnce的理解
要保证我偏移量的state,保存到了statebacked中,才让这一次send中的数据真正保存到kafka也就是所有subtask的这次checkpoint都完成了,才提交事务,让数据真正写入kafka
2022-03-29 01:07:34 3096
原创 Flink的从Kafka中读取再写入Kafka如何实现的ExactlyOnce--笔记
要想Flink实现ExactlyOnce需要Source能够记录偏移量,Sink支持开启事务
2022-03-28 22:46:40 2621
原创 savepoint和checkpoint的区别
checkpoint是flink job定期做的检测点,savepoint是停止job时人为指定的保存状态目录savepoint中的状态更新一些
2022-03-02 21:14:27 2405
原创 Flink中Union的使用
Union多个类型一样的DataStream合并到一起,使用同样的方式进行处理,当多个DataStream都做一个相同的操作时可以使用
2022-02-24 18:23:47 2112
原创 Flink中Max和MaxBy的区别
如果使用max,除了keyBy的字段和参与比较大小的字段,如果还有其他字段,为了返回结果对齐,返回的结果的其他字段就是第一次出现的字段使用maxBy,除了keyBy的字段和参与比较大小的字段,如果还有其他字段,会返回最大值所在数据全部的数据
2022-02-24 17:46:05 1430
原创 Flink的Transformation中KeyBy的计算逻辑的自己思考,有问题请纠正。。
使用特殊的murmurHash求得一个hash值想要将这个hash值按照我给定的分区数parallelism均匀划分,最大分区数为128当分区数大于最大分区数时,会出现有的机器永远不会有数据的情况,不管行不行都没有意义假设给定的分区数parallelism为8因为分区数肯定不能大于最大分区数128,所以用hash值摸除以128,这样得到的数不管分区数多少肯定小于128取模得到的数有128个(0-127),想要将这128个数,平均分配到8个分区中,可以用8/128再乘以这个数,就是1/16
2022-02-23 01:56:13 660
原创 配置Kafka的参数auto.offset.reset时earliest和latest的区别
earliest 和 latest 在有 偏移量offset 时,效果是一样的,都会从 偏移量offset 处继续消费;当没有 偏移量offset 时, ealiest 从头消费,latest 消费新产生的数据
2022-02-12 22:12:09 5214 4
原创 将IP地址转换为整数--将32位的二进制转换为十进制
将字符串类型的IP地址,按照"\\."进行切割将切割的字符串数组使用map遍历将每个元素转换为整数类型再使用位运算符计算结果
2022-01-09 11:59:25 3470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人