cout<<"Hello World!";

原创 Spark学习笔记:在瞎搞RDD中得到的收获和一些疑问

工作中常遇到的一个让人头疼的问题就是对大量数据的收集与处理，比如在建立用户画像的时候，需要跑一个月活数据，原始策略是直接用hive去查询，但随着用户规模的扩张和计算资源分配不足等问题，后期常常跑一天也无法从app的原始日志中得到这些数据。 因此某一天我开始了瞎搞，作为一个java程序员，被java限制了一些思维，在接触scala时有点手足无措，也是直接硬去写spark，反复调整，算是勉强写出了一