bug1
CDH spark1.6升级spark2后spark-submit或spark-shell时出现错误
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
错误解决:
进入命令行:运行以下命令
export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
在CM中修改saprk配置:
export SPARK_DIST_CLASSPATH=${SPARK_DIST_CLASSPATH}:$(hadoop classpath)
bug2:
HDFS提示: Under-Replicated Blocks
错误分析:
这个错误往往是因为hdfs默认副本数大于datanode数量造成的
解决:
解决方案两种,
1.一种是增加datanode节点实例
2.一种是重设文件的副本数:
切换到hdfs用户运行下面命令
2是你本机的datanode节点数
hadoop fs -setrep -R -w 2 /