eatyouwithoutsalt的博客

原创 java调用spark中碰到的问题

最近开发分析工具中使用了mapreduce和spark两种模式，独立的分析工具app已经开发完成并且使用命令行提交到集群运行成功，在任务代理中采用Runtime.getRuntime().exec方式提交mr或者spark到集群运行。mr运行没有出现任何问题，但是spark运行时，初期正常，没有任何问题，后来不知道什么时候开始，突然出现spark程序运行卡住，err中报错全是org.apache....