weixin_50201178的博客

原创 解决sparksql无法递归的问题

​ 目前做的是电商项目，有优惠券可以转赠的功能，在数据处理的时候发现需要将该券的源头找到，但是优惠券转赠是可以无限转赠的，库里存的数据是优惠券id以及被转赠的优惠券id数据示例如下。第一行是券id，第二行是券被转赠id，我们需要找到id为218–>1–>265–>9，9就是218的券来源，由于可以转赠无限手，所以需要递归查找。2–>288–>10，218–>1–>265–>9每个id都找到了自己的转赠源头。最后将datafream的数据插入到hive的数据表中就可以了。