大数据
忘川三途
这个作者很懒,什么都没留下…
展开
-
SparkSQL读取CSV文件
一、核心代码 val spark = SparkSession .builder() .master("local[2]") .appName("app") .getOrCreate() //读取文件 val sr...原创 2018-10-22 17:51:34 · 11064 阅读 · 0 评论 -
Spark OOM
一、背景 在跑Spark SQL任务时,突然报OOM错误,测试的时候是可以的。报错如下:Exception in thread "broadcast-exchange-12" java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker node...原创 2018-11-16 10:08:12 · 1310 阅读 · 0 评论