hadoop
AA强
程序员转行项目管理,忐忑进行中
展开
-
2020-12-07
no datanode to stop错误原因:datanode的clusterID 和 namenode的 clusterID 不匹配。解决办法:1、 打开 hadoop/tmp/namenode/name/dir 配置对应目录下的 current 目录下的 VERSION 文件,拷贝clusterID;2、修改所有datanode节点,打开 hadoop/tmp/datanode/data/dir 配置对应目录下的 current 目录下的 VERSION 文件,用拷贝的 cl..原创 2020-12-07 12:03:07 · 142 阅读 · 0 评论 -
一、关于Yarn的学习
关于Yarn的学习1、YARN的应用一些分布式计算框架(MapReduce,Spark等等)作为YARN应用运行在集群计算层(YARN)和集群存储层(HDFS和HBase)上。还有一层应用是建立在上图所示的框架之上。如PIg,Hive和Crunch都是运行在MR、Spark之上的处理框架。YARN的运行机制YARN通过两类长期运行的守护进程提供自己的核心服务:管理集群行资...原创 2019-05-08 15:20:17 · 489 阅读 · 0 评论 -
spark Hadoop 高可用模式下读写hdfs
第一种,通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://ns"); sc.hadoopConfiguration.set("dfs.nameservices", "ns"); sc.hadoopConfiguration.set("dfs.h...原创 2019-07-09 15:22:46 · 588 阅读 · 0 评论