Spark 2.2.0 在创建过大的DataFrame时候出现的错误
今天在使用Spark计算标签数据并且将结果存入hive表的时候出现了一些问题。
我是用client模式提交的spark应用,在程序运行到一般的时候,突然出现代码生成器打印出很多奇怪代码的情况。
我当时很奇怪,就立即kill掉了这个应用,并且去看了一下yarn上面对应的日志,发现了报了这样的错:
然后去网上疯狂百度,发现这是spark2.2.0版本的一个bug,当创建的DataFram...
原创
2019-01-23 17:30:27 ·
1243 阅读 ·
0 评论