![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
风雨践行者
移动数据不如移动计算
展开
-
Spark RDD使用原则
如今随着数据量的不断增加,Hadoop已经难以满足处理需求,逐渐发展起来的Spark基于内存的并行计算已经得到了广泛的应用。 Spark博大精深,编写起来比Hadoop方便很多,简单的几行代码就可以实现Hadoop复杂的代码,简单方便!著名的例子就是单词统计。 对于Spark性能的调优部分可以查看美团点评团队写的文章 http://tech.meituan.com/spark-tuning-basi原创 2016-05-25 21:54:59 · 1044 阅读 · 0 评论 -
Spark 异常 serialVersionUID 不一致问题
在spark上运行程序出现如下异常(serialVersionUID不一致) Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 193.0 failed 4 times, most recent failure: Lost task 1.3 in stage 1原创 2016-05-17 16:56:06 · 8126 阅读 · 2 评论