- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kylin------麒麟
Kylin------麒麟Kylin简介Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目Kylin的定位对数据进行预计算/预处理，主要出现在辅助Hive组件（查询效率比较慢），提高查询效率。Hive的性能比较慢，支持SQL，HBase的性能快，原生不支持SQL。Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高（将hive和hbase两个技术的优点结合到一起）使用场景用Hive将HDFS文件数据以关系数据方式
2020-05-18 09:35:56
315
原创 kafka初次学习
kafka初次学习什么时候会使用到kafka?企业中离线业务场景和实时业务场景都需要使用到kafkakafka具备数据的计算能力和数据的存储能力,但是相对于两个能力(MapReuuce/Spark)将对较弱1.消息队列的介绍消息 : 应用之间的一种通信方式,或点与点(多点)之间传递的数据,信息.消息队列 : 是一种应用间通信方式,一队列的形式2.消息队列的应用场景应用耦合:多应用间通过消息队列对同一消息进行处理异步处理:多应用间对消息队列中的同一消息进行处理限流削峰:用于秒杀和抢购活动
2020-05-18 08:10:42
124
原创 Hive自定义函数(UDF篇)
为什么要使用HIVE自定义函数当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function , 一进一出）UDF中的注意事项1. UDF 必须要有返回类型,可以返回null , 但是返回类型不能为void;2. UDF 中常用 Text/LongWritable 等类型 , 不推荐使用 java 类型 ;...
2019-11-22 14:34:59
371
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人