- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据之路---对缓慢变化维的一些理解
在现实世界中，维度的属性并不是静态的，它会会随着时间的流逝发生缓慢的变化。与数据增长较为快速的事实表相比，维度变化相对缓慢。这是阿里巴巴大数据之路上对缓慢变化维的定义，用大白话来说，就是维度表中的数据可能会慢慢地变化。当我们不需要同时维护新数据和旧数据时，我们可以采用方案1；当数据发生变化的次数特别少，或者我们只需要维护最新几次的数据，无需关心最原始的数据时，我们可以采用方案3；而当我们要同时维护所有的新数据和旧数据，我们可以采用方案2。
2023-11-04 01:22:33
86
原创 spark学习记录 -- 四个和聚合有关系的方法和他们之间的联系
在此基础上，如果我们的两个合并值的方法是一样的，即mergeValue和mergeCombiners是一样的，那么我们可以使用aggregateByKey（）上层的flodByKey（），flodByKey（）只需要两个参数：zerovalue和mergeValue。spark中有一个常用的和聚合有关的方法：reduceByKey（），该方法能对rdd进行reduce操作（聚合操作），和他有关的还有三个方法，分别是：conbinerByKey（）、aggregateByKey（）和flodByKey（）。
2023-08-24 23:22:52
82
1
原创 pycharm使用ssh远程连接服务器找不到软件包（软件包为空）
问题描述：pycharm在使用ssh远程连接虚拟机的时候能够成功连接上，并且解释器也正常，但是项目的软件包为空，而且环境中是存在对应的包的。解决：把之前的ssh远程连接全部删除，重新ssh远程连接。可能是因为加入的远程环境太多了，pycharm识别会乱。
2023-08-17 11:04:23
835
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人