- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kylin------麒麟
Kylin------麒麟 Kylin简介 Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目 Kylin的定位 对数据进行预计算/预处理，主要出现在辅助Hive组件（查询效率比较慢），提高查询效率。 Hive的性能比较慢，支持SQL，HBase的性能快，原生不支持SQL。 Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高（将hive和hbase两个技术的优点结合到一起） 使用场景 用Hive将HDFS文件数据以关系数据方式
2020-05-18 09:35:56
270
原创 kafka初次学习
kafka初次学习 什么时候会使用到kafka? 企业中离线业务场景和实时业务场景都需要使用到kafka kafka具备数据的计算能力和数据的存储能力,但是相对于两个能力(MapReuuce/Spark)将对较弱 1.消息队列的介绍 消息 : 应用之间的一种通信方式,或点与点(多点)之间传递的数据,信息. 消息队列 : 是一种应用间通信方式,一队列的形式 2.消息队列的应用场景 应用耦合:多应用间通过消息队列对同一消息进行处理 异步处理:多应用间对消息队列中的同一消息进行处理 限流削峰:用于秒杀和抢购活动
2020-05-18 08:10:42
104
原创 Hive自定义函数(UDF篇)
为什么要使用HIVE自定义函数 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function , 一进一出） UDF中的注意事项 1. UDF 必须要有返回类型,可以返回null , 但是返回类型不能为void; 2. UDF 中常用 Text/LongWritable 等类型 , 不推荐使用 java 类型 ; ...
2019-11-22 14:34:59
347
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人