- 博客(6)
- 收藏
- 关注
RSS订阅原创 Java连接Redis和相关操作
Hash 操作 hset/hmset/hget/hgetall/hdel/hlen/hexists。String 操作 set/get/incr/exists/expire/setexp/ttl。KV：【String，TreeMap集合】：Value也类似于Map集合，有序的Map集合。KV：【String，Map集合】：Map集合的嵌套，Map集合中的元素是无序的。KV：【String，String】，类似于Java中Map集合的一条KV。KV：【String，Set】：无序且不重复。
2023-09-24 14:39:40
85
1
原创 Hive数仓 grouping cube roolup grouping sets使用
如果需要对一张表进行不同维度的分析(月,天,月和天)传统SQL需要多次查询表然后在需要聚合。问题:如果这个表非常的大,加上mr执行效率可能非常的慢。解决:使用聚合函数,一次查表,然后合并。
2023-09-22 18:18:44
132
原创 数仓拉链表设计与实现
主要解决的是记录历史状态的问题(处理缓慢渐变维度)比如:某一用户哥,在20年在摸个购物平台注册了账号,有相应的用户信息地址电话等等,然后在23年搬家了,换手机号码了,这时候我们要想将他之前的用户信息以及所关联的购买记录等进行分析,就需要之前的用户信息.
2023-09-22 14:36:49
146
原创 Sqoop常见命令
allowerinsert：既导出更新的数据，也导出新增的数据。--m 2 --split-by (按什么分)updateonly：只增量导出更新的数据。特点：既导入新增的数据也导入更新的数据。方式一：先复制表结构、再导入数据。方式二：直接导入数据（包括建表）- lastmodified模式。，按照数据变化的时间进行判断。通过where对字段进行过滤。然后执行数据导入操作。- append模式。
2023-09-22 10:49:20
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人