大数据
文章平均质量分 76
Vincent_Leee丶
学无止境
展开
-
实现FlinkKafkaConsumer在指定时间范围消费数据
写在前面自0.10版本起,kafka开始支持指定消费起始时间戳,即使用KafkaConsumer.offsetsForTimes定位时间戳对应的offset, 本质上依然是定位offset进行消费。对应的,FlinkKafkaConsumer010起,也由source接口支持了在kafka中指定起始时间消费。FlinkKafkaConsumerBase<T> setStartFromTimestamp(long startupOffsetsTimestamp)由于业务上的需求,要在Fl原创 2020-10-27 14:59:05 · 4401 阅读 · 4 评论 -
Hadoop生态圈重要组件整理
Hadoop生态圈重要组件的概论与简述初学hadoop的朋友们一定知道,Hadoop是由Apache开发的分布式系统基础架构,类似于自然界中的生态系统。这个系统中包含多个组件,共同完成分布式框架处理的任务。这里为大家整理了如下:HDFS:分布式文件系统Yarn:资源调度系统MapReduce:分布式运算程序开发框架HIVE:SQL数据仓库工具HBASE:基于Hadoop的分布式海量数据...原创 2019-02-12 18:56:13 · 1943 阅读 · 0 评论 -
2019网易实习笔试记录
面试及笔试要点汇总notify()是随机唤醒,不能指定确切,notifyAll()唤醒所有;wait()会释放锁;sleep()是静态方法,需要捕捉InterruptedException;给子网掩码,求子网位数、子网数目、每个子网中主机数目,看后缀,如后缀240 = 11110000,子网位数为48 4 2 1 reduce(+)=14,子网数目、每个子网中主机数目为14;链表不...原创 2019-08-09 14:49:47 · 478 阅读 · 0 评论