spark
指南z
这个作者很懒,什么都没留下…
展开
-
spark-thrift-server 执行spark-sql 的OOM GC异常.
场景 : 在前端页面提交一个spark-sql,然后通过spark-thrift-server 调用来执行. sql逻辑很简单, 就是使用join关联两表(一个大表90G,一个小表3G)查询,前台界面执行出错.后台抛出java.lang.OutOfMemoryError: GC overhead limit exceeded 异常; 直接使用./spark-sql --master yarn --executor-memory 4G --num-executors 19 启动原创 2016-10-19 10:21:03 · 3945 阅读 · 0 评论 -
requirement failed: Block broadcast_487 is already present in the MemoryStore
场景:以往正常执行的sparksql,今天在公司执行报如下错误:第一次执行报错如下:Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1382 in stage 320.0 failed 4 times, most rece...原创 2019-06-05 13:44:22 · 552 阅读 · 0 评论 -
java.sql.SQLException: java.lang.RuntimeException: serious problem
场景: spark on hive 使用sparksql查询hive的ORC表。select * from evchk_ods.ODS_CAR_DRIVE_INFO_P_D报错如下:java.sql.SQLException: java.lang.RuntimeException: serious problemat org.apache.hive.jdbc.HiveSta...原创 2019-05-31 18:13:11 · 2891 阅读 · 0 评论