SPARK里RDD中一行数据映射多行,多行数据合并一行行为总结
这些天处理spark任务时,遇到的困惑,我们通常map或forea处理RDD或DF时,如何在RDD中每一行处理的过程中将一行的数据按照需求分裂成多行?又如何将RDD中多行(m)完全平行的数据相同字段不变、不同字段合并成一段,从而形成n行数据(n<<m)?1. 首先对于将多行缩减一行的需求我们可以通过 flatMapValues字段实现该功能。flatMapValues:同基本转换操作中...
原创
2018-03-14 20:52:17 ·
14040 阅读 ·
1 评论