- 博客(2)
- 收藏
- 关注
RSS订阅转载 常用算子补充
MapPartition MapPartions（）一次处理一个分区的所有数据，而map（）算子一次处理分区中的一条数据。 所以MapPartitions处理数据的速度比map快。 如果RDD分区的数据很庞大，而mapPartiton很容易造成内存溢出。 如果RDD分区的数据相对较小，为提高...
2017-01-09 10:37:00
98
转载 Spark Core学习日志（三）
2017年1月8日 16:48:57 【小结】 1.常用的Transformation和action使用方法 2.内存管理： a)RDD内存持久化：cache（）和persist（） b)持久化策略：MEMORY_ONLY,MEMORY_AND_DISK，MEMORY_ONLY_SER,MEM...
2017-01-09 08:24:00
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人