![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
qq_38215991
这个作者很懒,什么都没留下…
展开
-
商品销售状态明细计算
商品销售状态明细交付的维度:dt+poi+sku现有的维度:dt+poi+sku+hour**背景:**需求方要求在一条数据中将该商品一天内该商品状态变化的时间点以及变化后的状态显示出来**难点:**商品一天可能变化多次(hour),如何将商品变化的时间和变换后的状态一一对应的显示在一条数据中**解决方案:**通过map的形式将数据显示在后面具体思路:1:运用concat_ws对每条数据的utime(变化时间)和sale_status(商品状态)进行拼接2:按dt+poi+sku进行grou原创 2021-12-24 19:15:58 · 570 阅读 · 0 评论 -
合并时间轴
源表:商品缺货状态变更表:select * from mart_forecast.sku_oos_log_test1商品上下架状态变更表:select * from mart_forecast.sku_status_log_test1最终想要结果:解决方案:第一步(d表):合并时间轴(1):将两个时间(缺货,上架)轴进行去重合并(union)(2):然后再分别关联两张表(缺货,上架)取出对应时间的两个状态 (缺货状态和上架状态)(3):最后每条数据取变更时间得后一条数据作为结束时原创 2021-12-11 19:40:51 · 525 阅读 · 0 评论 -
读书笔记六 ---大数据之路
多流关联在流式计算中常常需要把两个实时流进行主键关联,以得到对应的实时明细表。在离线系统中两个表关联是非常简单的,因为离线计算在任务启动时已经可以获得两张表的全量数据,只要根据关联键进行分桶关联就可以了。但流式计算不一样,数据的到达是一个增量的过程,并且数据到达的时间是不确定的和无序的,因此在数据处理过程中会涉及中间状态的保存和恢复机制等细节问题。比如A表和B表使用ID进行实时关联,由于无法知道两个表的到达顺序,因此在两个数据流的每条新数据到来时,都需要到另外一张表中进行查找。如A表的某条数据到达,到B原创 2021-11-06 18:15:58 · 1005 阅读 · 0 评论 -
如何判断是笛卡尔积
1:结果的数据量远大于主表的数据量(表没做聚合时可以用这个进行判断)2:join后面是否忘记了使用on做关联条件3:查询长时间没有出结果(例如,明明结果只有几千条数据,但是却查了六七百秒)4:做表关联的时候没有使用主键关联,导致中间结果产生的数据特别多...原创 2021-11-05 10:42:03 · 314 阅读 · 0 评论 -
零售的哲学前三章读后感
零售的哲学前三章读后感 **共同配送** 由于生产厂商和一系列的批发商各自为营,每天来1号店送货的货车高达70辆。牛奶就是一个经典的例子。当时的牛奶有全农、森永、明治等品牌,虽然对消费者而言都属于同类产品,但却必须由不同公司分别发送货品。作者发现这种配送方式非常没有效率,因此建议把同一地区同类厂家的产品混装在一起实行共同配送。 厂家出于对品牌的自尊心,不愿运送其他竞争对手的产品,并斥责作者的做法不懂得其为建立品牌所付出的心血。这种说辞表明他们依然停留在卖方市场时代的思维模式,以为只要把产品放上货架,原创 2021-09-04 14:01:56 · 277 阅读 · 0 评论