- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark作业因为hdp.version变量取不到异常处理
作业描述： spark yarn cluster模式跑spark作业失败，launch_container.sh错误 异常信息： spark 异常 spark_conf/hadoop_conf: bad substitution 19/09/11 08:34:42 ERROR SparkContext: Error initializing SparkContext. org.apache.spa...
2020-04-10 12:02:12
1446
1
原创 hadoop3.0版本新特性，磁盘balance
业务场景： 某银行生产环境下，hdfs集群中一个datanode节点，总共有12块数据盘，分别存储data1–data12，其中由于某些原因/data8没有挂载数据盘，导致集群数据存在了系统盘，系统盘大小500G，今天发现磁盘空间占满，对此解决方案如下： 1、登录ambari管理界面，进入hdfs和yarn，选择指定节点，停止datanode、nodemanager服务运行 2、格式化磁盘 mkf...
2020-03-23 18:50:09
352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人