![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
薛定谔的猫不吃猫粮
这个作者很懒,什么都没留下…
展开
-
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
解决hadoop高可用,脚本启动时namenode启动不了的问题在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时,经常发现高可用的namenode之启动了一个查看错误日志发现STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = hdp14/192.168.204.14STARTUP_MSG: args = []STARTUP_MSG: version = 3.1.4STARTUP_MSG: cla原创 2021-05-13 16:57:49 · 2833 阅读 · 0 评论 -
解决hadoop执行MapReduce程序时Ha和yarn的冲突 YarnRuntimeException: java.lang.NullPointerException
解决hadoop执行MapReduce程序时Ha和yarn的冲突错误信息:YarnRuntimeException: java.lang.NullPointerException在hadoop高可用环境下执行MR程序报如下错误:2020-04-09 22:56:58,827 ERROR [Listener at 0.0.0.0/45871] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMasterorg.ap原创 2021-05-13 15:25:20 · 1011 阅读 · 1 评论 -
hadoop 如何判断文件是否存在,目录是否存在,目录是否为空?
hadoop 如何判断文件是否存在,目录是否存在,目录是否为空?之前在做日志收集的时候遇见一个问题,一直没有解决,今天偶然间想起来这个问题解决一下。将hdfs上的日志数据使用load命令加载到hive表中时,极少数情况下当某种日志缺失的时候,这种日志对应的路径为空,加载的时候会中断调度任务。在Linux文件系统中,可以使用下面的Shell脚本判断某个文件是否存在:# 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!"fi原创 2021-05-12 18:02:31 · 4604 阅读 · 0 评论 -
SecondaryNameNode与Hadoop高可用(HA)的区别
一、SecondaryNameNode介绍要了解Secondary NameNode之前,我们先来看看NameNode是做什么的。NameNodeNameNode:主要用来保存HDFS的元数据信息,比如命名空间信息,块信息等。当它运行的时候,这些信息在内存,也可以持久化到磁盘上。如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的Fs原创 2021-05-08 17:05:25 · 562 阅读 · 0 评论 -
hadoop 高可用(HA)原理 详细图解
hadoop 高可用(HA)原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的。Hadoop 1.x之前,其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出,1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用。Hadoop 2.x的架构与1.x有什么区别呢。我们来看下2.x的架构转载 2021-05-08 15:52:12 · 2619 阅读 · 0 评论 -
hadoop3.1.4 完全分布式搭建HA(namenode resourcemanager高可用)保姆级教程-详细步骤-快速搭建-详解配置-历史服务器
一. 集群规划ip主机名安装进程192.168.204.14hdp14namenode,ZKFC,resourcemanager192.168.204.15hdp15namenode,ZKFC,resourcemanager192.168.204.16hdp16natanode,nodemanager,zookeeper,Journalnode192.168.204.17hdp17natanode,nodemanager,zookeeper,Jour原创 2021-05-08 14:25:43 · 1326 阅读 · 0 评论 -
linux下对Hadoop3.1.4源码编译(详细步骤,附所有资源下载地址)
Hadoop源码编译环境准备1.系统环境虚拟机安装 centos7已配置好网卡,能联网root用户安装2.软件安装包下载jdk8下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop-3.1.4-src.tar.gz 源码下载https://hadoop.apache.org/releases.htmlapache-maven-3.6.3原创 2021-05-06 16:28:59 · 1534 阅读 · 0 评论