嗨喽! 大家好,我是“流水不争先,争的是滔滔不绝”的翀,欢迎大家来交流学习,一起入坑数据分析,希望我们一起好好学习,天天向上,目前在社会毒打中~~
前言
记录一下自己实习中遇到一个需求问题,内存不足,概括解决方法的核心就是: 以时间换空间
问题来源
写这篇文章的目的是因为这两天遇到一个需求: 取数,其中到一步因为运行内存的问题一直卡住, 大概是这样
user_id | fan_list |
---|---|
1 | […贼多几百万] |
我想将其拉成一张大表user_id, fan_id 去匹配连接fan的信息, 但是因为内存原因我无法拉出一个几千万行的数据表, 这个好像可以上spark 解决这个,但是spark上面用python我不太熟悉,
- 我听leader说也会复杂一点, 我瞬间产生点怯意,因为这个要得急,我又不确定要花多少时间, 所以在我还比较熟悉的SQL spark上将自己的python写逻辑转换成sql逻辑,
- 但是 遇到一个问题, sql语句怎么显示一行变多行的操作,多行变一行用groupby这个我会,但是反过来我就不清楚了