![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据软件安装
文章平均质量分 65
天空飘来一个云哥哥
这个作者很懒,什么都没留下…
展开
-
flume自定义拦截器用法
业务场景1:埋点数据落hive表,且埋点数据中带有数据产生时的时间字段业务流程:kafka->flume->hdfs->hive问题:晚到的埋点数据会落到哪个分区中 9点产生的埋点数据 由于数据上报或者flume sink的延迟会落到9点的分区中么? ------->>>答案是不会的需求:flume消费kafka数据按照server_time时间字段,决定数据落的分区pom.xml<dependencies> <depe原创 2021-03-26 15:31:19 · 236 阅读 · 0 评论 -
presto安装配置文档
参考网址:https://blog.csdn.net/qq595662096/article/details/88077211Presto的安装非常的简单,集成的是hive,也就是利用hive的元数据信息来处理,直接上步骤(推荐看博客的同事一定要看看官网的信息,presto还在孵化的阶段,可能随着时间的推移改动比较大,所以强烈推荐看官网)1.下载presto:官网地址: https://prestodb.github.io/下载地址页面: https://prestodb.github.io/do转载 2021-01-23 17:01:39 · 449 阅读 · 0 评论