疯狂的暴走蜗牛的专栏

简介：在我的CDH5.11集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。首先贴出一

简介     整个项目架构是在CDH中，flume采集数据到kafka，然后sparkstreaming消费（flume1.7版本，kafka0.10版本，spark 2.1版本）。本来local本地模式测试已经没有问题，但是部署到集群上就报错如下：Exception in thread "streaming-start" java.lang.NoSuchMethodErr

简介            整个项目架构是在CDH中，flume采集数据到kafka，然后sparkstreaming消费（flume1.7版本，kafka0.10版本，spark 2.1版本）。然后在集群中执行的时候，发现日志中会有下面这个错误，但是程序并没有死掉，结果也和本地环境测试的结果一样。同时发现，3个spark executor中，有一个会死掉。  java

简介        要深入学习spark，阅读源码，修改源码，学会自己编译打包spark是必须迈过的一道坎。折腾了两天，先后编译打包了spark-1.6.0-cdh5.11.0-src，spark-1.6.0-cdh5.13.0-src版本，现在记录过程，及遇到的问题如下。环境准备         1.我编译的平台是CentOS7，并且能正常联网（如果你能越过那道高高的山岗，那

简介        由于spark有多种运行模式，远程调试的时候，虽然大体步骤相同，但是还是有小部分需要注意的地方，这里记录一下调试运行在spark on yarn模式下的程序。环境准备        需要完好的Hadoop，spark集群，以便于提交spark on yarn程序。我这里是基于CDH的环境         步骤            1.随

Spark任务报java.lang.StackOverflowError简介日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。问题分析此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析...