![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
duguyiren3476
这个作者很懒,什么都没留下…
展开
-
spark运行在yarn上的一个异常
主机配置内存不足,导致在yarn上运行job异常,下面是spark运行在yarn上的一个异常:17/05/03 17:58:02 ERROR client.TransportClient: Failed to send RPC 7785784597803174149 to /172.26.159.91:56630: java.nio.channels.ClosedChannelExcept...原创 2017-05-03 18:08:43 · 1311 阅读 · 0 评论 -
idea导入sbt项目
idea导入sbt项目 在使用idea开发spark过程中,使用sbt工具构建是个相当好的构建方式,本文针对,用idea导入已经是sbt的项目进行说明:1.导入项目 2.在弹出框中选择sbt项目:3.选择箭头处的两个地方: 4.选择自动导入,箭头示意处: 接下来等待导入的依赖包和预编译即可,如果不限则如上图的两个auto,则出现找不到类的异常。...原创 2014-11-29 23:02:36 · 1963 阅读 · 0 评论