Brook?-CSDN博客

原创打折日期交叉问题

某大佬的思想，实在是太经典了，我们一起来膜拜！！！如下为平台商品促销数据：字段为品牌，打折开始日期，打折结束日期brand stt edtoppo 2021-06-05 2021-06-09oppo 2021-06-11 2021-06-21vivo 2021-06-05 2021-06-15vivo 2021-06-09 2021-06-21redmi 2021-06-05 2021-06-21redmi 2021-06-09 2021-06-15redmi 2021-06-17

2021-12-16 16:38:40 1545

原创最长回文字符串

public static void main(String[] args) { System.out.println(getString("hiooih")); } private static String getString(String oldStr) { StringBuffer buffer = new StringBuffer(); for (int i = 0; i < oldStr.length(); i++) { buffer.a..

2021-12-15 19:30:41 932

原创（exactly-once）Flink 如何实现端到端的一致性（kafka+flink+kafka）

flink 内部实现 exactly-once 原理！Checkpoint 原理！两次提交原理

2021-11-18 11:21:54 2021

原创 flink运行架构详解

一、开发模式per-job-cluster 提交模式1.一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。2.优点每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。Session-Clust...

2021-11-10 00:01:02 1587

原创 Yarn调度器和调度算法

一、FiFO（先进先出调度器）FIFO调度器（FirstIn First Out）：单队列，根据提交作业的先后顺序，先来先服务。二、容量调度器（Capacity Scheduler）yahoo开发的多用户调度器1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，...

2021-10-29 10:53:09 215

原创如何制作拉链表

1.为什么要制作拉链表数据量大，且数据的变化不大，若按全量同步策略则会每天存很多重复的数据。因此需要制作拉链表来解决2.如何制作拉链表 01id name 1 张三 2 李四 3 王五第一天 02 先把初始化数据，加上初始时间和结束时间（无限大）id name ...

2021-10-15 09:18:59 900

原创采集数据零点漂移问题解析

为什么会发生零点漂移？比如2021-10-10 23:59:59生成的日志文件，然后数据经过第一层的flume采集，加上kafka的缓冲，然后到集群的另一台上的第二层的flume的时候，时间肯定就会到2020-06-15 00:00:XX了，这样一来，如果采用当前系统时间作为timestamp的话，2020-06-14的日志数据就会上传到hdfs上的2020-06-15的目录下。因为KafkaSource会为其加上该header，value为当前系统的时间戳KafkaSource会为其加上该hea..

2021-10-14 13:10:09 2789

lq13697179942的博客