2017年02月_xiao_jun_0820

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创 yarn client中的一个BUG的修复

org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法：/** * Report the state of an application until it has exited, either successfully or * due to some failure, then return a pair o

2017-02-20 11:36:23 2955

原创一步一步完成如何在现有的CDH集群中部署一个与CDH版本不同的spark

首先当然是下载一个spark源码，在http://archive.cloudera.com/cdh5/cdh/5/中找到属于自己的源码，自己编译打包,有关如何编译打包可以参考一下我原来写的文章：http://blog.csdn.net/xiao_jun_0820/article/details/44178169执行完之后你应该能得到一个类似spark-1.6.0-cdh5.7.

2017-02-17 17:52:31 5811

原创关于hadoop与jstl冲突的jar包问题

最近在做一个提交spark作业的web后台，当前端页面需要用到el表达式时，出现报错：The method proprietaryEvaluate(String, Class, PageContext, ProtectedFunctionMapper, boolean) in the type PageContextImpl is not applicable for the argume

2017-02-09 15:47:21 1170

原创关于spark程序动态资源分配的一些理解

环境：cdh5.7.1cdh5.7.1中的spark版本为spark1.6关于如何配置动态资源分配，参见：http://spark.apache.org/docs/1.6.3/job-scheduling.html#dynamic-resource-allocationcloudera manager中的默认配置时开启了spark 动态资源分配的,也就是spark.

2017-02-08 15:43:05 6798 1