![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
青史余墨0816
这个作者很懒,什么都没留下…
展开
-
flume系统架构
目前我们使用的flume主要有三种类型:kafka→kafka、kafka→hdfs、kafka→hbase没有特殊说明每套均部署了5台机器:10.200.1.52、10.200.1.53、10.200.1.54、10.200.1.55、10.200.1.56目前线上使用的版本是1.9.0,为Flume最新版本。1、kafka→kafka目前行为上报数据是上报到两个机房的kafka集群的,...原创 2020-03-17 17:07:01 · 310 阅读 · 0 评论 -
数仓自定义函数
一、介绍Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。下面这个链接比较详细的列出一些内置函数的使用和说明 https://www.cnblogs.com/MOBIN/p/5618747.html#6;但是许多业务场景当当只靠内置函数无法满足,所以大数据团队开发了自定义的函数。二、自定义函数列表返...原创 2019-09-30 16:28:06 · 350 阅读 · 0 评论