疯狂的暴走蜗牛的专栏

简介：     CDH5.11集群，由于停电造成节点全部挂掉，重启后HDFS报错，同时由于HDFS报错，引起其他基于HDFS的应用如HBASE等也报错，恢复方法如下。报错介绍：     我这里的错误，摘录部分日志如下：     在namenode中的报错如下2017-07-03 13:53:10,377 FATAL org.apache.hadoop.hdf

简介    由于hive本身的优化机制，一些简单的语句如select *，select 字段1，字段2 from table，hive不会启动MapReduce任务。但是有时候我们并不希望他这么做，比如：通过hiveserver2使用Java的jdbc发送select * from  aaa，这个语句，当aaa这个表数据量超大的时候，比如我遇到的3000+的字段，5000万的数据量，程序就卡死...

Spark任务报java.lang.StackOverflowError简介日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。问题分析此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析...