hadoop - 单独配置辅助名称节点(SecondaryNameNode)

最新推荐文章于 2022-10-07 08:12:25 发布
最新推荐文章于 2022-10-07 08:12:25 发布
阅读量926 收藏 2
点赞数
分类专栏： Hadoop 云计算 大数据 文章标签： Hadoop 大数据 云计算 Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w7239/article/details/101562656
版权
本文介绍了如何单独配置Hadoop的辅助名称节点(SecondaryNameNode)。主要涉及修改hdfs-site.xml和core-site.xml两步，首先在hdfs-site.xml中添加配置，然后在core-site.xml中同样添加内容。为了防止出现两个SecondaryNameNode，需要在配置前先通过stop-all.sh停止所有服务，避免旧进程残留。
摘要由CSDN通过智能技术生成

1. 修改hdfs-site.xml

执行命令：

vi /software/hadoop/etc/hadoop/hdfs-site.xml

在hdfs-site.xml中添加：

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>s138:9868</value>
  </property>

2. 修改core-site.xml

执行命令：

<
最低0.47元/天 解锁文章
attention！
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 hadoop-3.1.3 linux 安装包
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
hadoop下运行多个SecondaryNameNode的配置
数据人生
08-12 1485
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS
Hadoop 3.x（HDFS）----【NameNode 和 SecondaryNameNode】
是微风，是晚霞，是无可替代
10-07 700
这样又回带来新的问题，当在内不吃你中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会法神一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。但是，如果长时间添加数据到 Edits 中，就会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长，因此，需要定期进行 FsImage 和 Edits 的合并，如果这个操作由 NameNode 节点完成，又回效率过低。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。
hadoop3.1.3的集群搭建
m0_65033114的博客
08-01 1254
windows系统确认所有的关于VmWare的服务都已经启动右键“我的电脑”->“管理”确认好VmWare生成的网关地址这里设置网关为192.168.121.2，子网ip192.168.121.0，子网掩码使用vim编辑器打开/etc/hostname文件删除文件中原有内容，添加内容主机名hadoop04，保存退出(wq!)更改虚拟机静态ip，例如hadoop04打开网卡配置文件修改内容使用vim编辑器打开/etc/hosts文件在文件尾部添加内容，格式私钥。......
hadoop secondarynamenode的两种配置方式
星.云计算
05-29 1304
hadoop secondarynamenode的两种配置方式，hadoop版本是hadoop-1.0.4： 集群分配关系： masterJobTracker&amp;&amp;Namenode node1Secondarynamenode node2TaskTracker&amp;&amp;Datanode node3TaskTracker&amp;&amp;Datanode ...
hadoop2.X如何将namenode与SecondaryNameNode分开配置
weixin_34168700的博客
11-14 402
本帖最后由 pig2 于 2014-6-17 19:54 编辑 问题导读 1.如何将namenode与SecondaryNameNode分开？ 2.SecondaryNameNode单独配置，需要修改那些配置文件？ 3.masters文件的作用是什么？ 我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考...
hadoop-2.7.4.tar.gz
07-08
6. **配置文件**：Hadoop的配置文件在`hadoop-2.7.4/etc/hadoop`目录下，主要包括`core-site.xml`（核心配置）、`hdfs-site.xml`（HDFS配置）、`mapred-site.xml`（MapReduce配置）和`yarn-site.xml`（YARN配置）。...
hadoop-3.3.1 windows + apache-hadoop-3.1.0-winutils-master.zip
最新发布
05-08
2. **配置环境变量**：打开系统环境变量设置，添加新的系统变量`HADOOP_HOME`，指向你的Hadoop安装目录（如`C:\Hadoop\hadoop-3.3.1`）。同时，将`PATH`变量中添加`%HADOOP_HOME%\bin`和`%HADOOP_HOME%\sbin`，以便...
hadoop-3.1.3.tar.gz
12-06
下载后，使用`tar -zxvf hadoop-3.1.3.tar.gz`命令进行解压，解压后的目录结构包含Hadoop的各种组件和配置文件。 三、配置Hadoop环境 为了方便使用Hadoop，我们需要设置环境变量。在用户的.bashrc文件中添加以下...
hadoop-spark配置文档1
08-08
4. 使用 `ssh localhost` 和 `ssh hadoop-spark` 登录验证 SSH 配置是否成功。 二、Hadoop 配置 Hadoop 的配置主要涉及几个核心的 XML 文件，包括 `core-site.xml`, `hdfs-site.xml`, 和 `mapred-site.xml`。 1. `...
搭建多节点Hadoop集群，并对NameNode和SecondaryNameNode进程进行分离操作
Hiwes的博客
08-27 2105
主机环境： Centos7.3（自定义台数，此处举例使用3台） 安装前准备： JDK： jdk-8u144-linux-x64.tar.gz Hadoop： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 在单机模式及小节点集群的Hadoop集群配置，往往NameNode和SecondaryNam...
hadoop配置名称节点HA基本流程
weixin_34245749的博客
09-20 345
hadoop配置HA（NN）配置信息参考hadoop配置名称节点HA原理1、停止所有进程stop-dfs.sh2、配置hdfs-site.xml和core-site.xml3、将s201的id_rsa发送到s205（确保两个NN能同时ssh到各个DN）4、将s201的工作目录复制到s2055、启动服务journalnodehadoop-daemons.sh start jou...
Hadoop配置启动SecondaryNameNode
lirika_777的博客
11-22 7380
1.增加masters文件 sudo vi masters 复制代码   这里面放什么内容还是比较关键的，这里我们指定slave1节点上运行SecondaryNameNode。 注意：如果你想单独配置一台机器，那么在这个文件里面，填写这个节点的ip地址或则是hostname，如果是多台，则在masters里面写上多个，一行一个，我们这里指定一个
单节点配置SecondaryNameNode
03-29 1794
一、SecondaryNameNode概念：     光从字面上来理解，很容易让一些初学者先入为主：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。ssn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。
单独配置secondarynamenode
weixin_33884611的博客
04-13 87
一、配置说明 这是在我之前yarn框架上通过加入节点，改动相关的配置文件，使得secondarynamenode独立出来的，所以这里前期的一系列琐碎配置请參考我之前的博客： http://blog.csdn.net/u014078192/article/details/27992567 我会在这基础上讲述怎样将secondarynamenode抽调出来。 二、配...
TCP三次握手建立连接与四次握手终止连接及sep和ack号的正确理解
不会游泳的鱼<。)#)))≦ 的专栏
12-14 7882
一、简介 TCP连接是面向连接的，所谓的面向连接就是，当计算机双向通信时必需先建立连接，然后才能进行数据的传输，最后还要拆除连接。而同在一个网络层的UDP传输，是面向非连接的传输，也不是可靠的。 TCP建立连接需要三次握手的过程，而拆除连接需要四次握手的过程。 二、TCP连接的建立与终止 1、TCP连接的建立（三次握手）： •在TCP/IP协议中，TCP协议提供可靠的连接服务，采
动态规划 | 最大正方形 | Largest Square | C/C++实现
qq_40998706的博客
02-19 1425
问题描述 现有H×WH×WH×W个边长为1cm的正方形瓷砖排列在一起，其中有一部分瓷砖沾有污迹，求仅由干净瓷砖构成的最大正方形的面积。 输入： HHH WWW c1,1c_{1,1}c1,1​ c1,2c_{1,2}c1,2​ … c1,Wc_{1,W}c1,W​ c2,1c_{2,1}c2,1​ c2,2c_{2,2}c2,2​ … c2,Wc_{2,W}c2,W​ … cH,1c_{H,1}c...
决策树算法原理（三种最优属性划分方法）
热门推荐
Sherry沫小阳的博客
04-04 1万+
大家好，今天，我们来介绍一下决策树的原理。 决策树算法在当今机器学习中经常用到，它既可以作为分类算法，也可以作为回归算法，下面我会和大家对这个算法中的一些理论进行一一介绍。 1.决策树ID3算法 决策树算法通俗来讲，就是一种按照重要性（信息增益）层层分类的分类方法，此文章借西瓜书中的例子来为大家讲解 信息增益：“信息熵”是度量样本集合纯度最常用的一种指标，假设当前样本集合D中第k类样本所占...
NameNode、SecondaryNameNode和DataNode
L
08-18 2476
目录 集群规划 集群启动 | 停止 单进程启动 | 停止 同一类型进程启动 | 停止 dfs和yarn分开启动 | 停止 启动 | 停止dfs 启动 | 停止yarn 一起启动 | 停止yarn和dfs NameNode DataNode SecondaryNameNode 集群规划 主机名 IP地址 节点分布 bigdata112 192.168....
Hadoop-Spark配置指南：基础环境与核心配置详解
- `Core-site.xml`: 定义了Hadoop文件系统的默认名称节点（`fs.default.name`，例如`hdfs://hadoop-spark:9000`）和临时数据目录（`hadoop.tmp.dir`，如`/opt/data1/tmp`）。 - `Hdfs-site.xml`: 设置副本数量（`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值