HDFS自动化脚本启动

最新推荐文章于 2022-08-16 16:04:15 发布
最新推荐文章于 2022-08-16 16:04:15 发布
阅读量360 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/renzheng12/article/details/106103231
版权

主要的配置文件在 vim /usr/local/hadoop/etc/hadoop/slaves里面，将里面的localhost删除，添加上自己的datanode的主机名，之前配置过免密登录，现在就不用配了。

启动集群的命令为：start-dfs.sh

停止集群的命令为：stop-dfs.sh

启动之后里面会有0.0.0.0这个语句，修改vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml配置文件：

如图

 

里面的namenode01是namenode的主机名 

配置好以后停止dfs集群服务

之后再开启dfs集群服务，就没有0.0.0.0了

 

九点六
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS自动批量的启动脚本
IT_探的博客
10-15 484
修改配置文件slaves（配置集群服务器）            执行命令         start-dfs.sh 启动集群         stop-dfs.sh 停止集群          主机启动之后，发现有一个副本存在，修改副本位置，参考https://blog.csdn.net/flyer_tang/article/details/83056939  ...
SSH自动化免密登录脚本+集群启动
Leonardy的博客
01-19 965
SSH自动化免密登录脚本编写初衷脚本编写 编写初衷 如果只是普通的1对1的SSH免密登录还好办，手动设置一次也就ok了，但是试想一下，如果是在集群环境下呢？多了不说，3台主机间的SSH免密操作想想都麻烦吧. 有人说，不怕麻烦，ok，手动也可以，就是花点儿时间，而且通常情况下配置一次就ok了，下次即使是节点关机，重启，等操作后也不用再做任何操作. 但是，如果你跟我一样用的是docker搭建的集群…会...
开启hdfs的脚本文件
11-29
开启hdfs的脚本文件，可以通过此文件开启hdfs，但是记得赋权喔
HDFS脚本
weixin_30567471的博客
03-04 118
环境准备 vim .bash_profile export CLASSPATH=.:/home/hadoop/work/hadoop2.6jar/*.jarsource .bash_profile 1.上传文件到hdfs vim CopyFile.java 1 import org.apache.hadoop.conf.Configuration; 2 import ...
hadoop架构分析之启动脚本分析（hdfs部分）
OhHusky的博客
08-11 453
一.Hadoop-config.cmd (1)set HADOOP_HOME=%~dp0设置HADOOP_HOME=当前目录(2)set HADOOP_HOME=%HADOOP_HOME:~0,-1% 去掉最后一个’\’符号(3)set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop 设置HADOOP_CONF_DIR(4)set HADOOP_CONF_DIR=
Hadoop 使用自动化脚本启动hdfs和yarn
学亮编程手记
03-04 650
【自动化脚本】自动启动hdfs/yarn/spark HA集群
03-05
脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、...
【小工具】hdfs balance脚本（均衡操作）
01-20
总结起来，这个脚本提供了一种自动化HDFS数据均衡的方法，通过设置合适的带宽和阈值，可以在保证集群性能的前提下，有效地调整数据分布，保持整个系统的健康运行。在日常运维中，理解和掌握HDFS的数据均衡机制对于...
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
通常，这可以通过SSH或脚本自动化完成。 接下来的任务是格式化NameNode。在HA模式下，每个NameNode都需要被格式化，以初始化其存储的数据结构。这个过程会在每个NameNode节点上执行，确保它们都有干净的元数据状态...
Hadoop高可用自动化安装使用Shell脚本
01-18
在Hadoop集群中，一个完善的自动化脚本可以大大简化安装过程，减少人为错误，提高效率。脚本通常包括以下步骤： 1. **环境准备**：确保所有节点都配置了相同的时区，更新系统到最新版本，安装必要的依赖库，如Java...
hadoop集群自动化安装脚本
06-27
自动化安装脚本 需要安装expect，并依据自己的实际环境更改ip和hostname 需要jdk的安装文件，需要重命名为jdk7.rpm
hadoop2.7.3启动脚本流程
07-27
在学习hadoop启动脚本过程中记录的，有一定的参考价值，值得一看！
hdfs脚本介绍
liujianhuiouc的专栏
03-05 620
HDFS相关脚本介绍 简介 本篇主要介绍hdfs整个系统的脚本部分，通过脚本来介绍hdfs文件系统的启动、停止等操作；该篇是基于hadoop-2.6.2的版本进行说明。hdfs的脚本主要位于三个地方，其中$HADOOP_HOME/sbin放置了一些应用层面相关的脚本，如start-dfs.sh等系统的启动、停止脚本，$HADOOP_HOME/bin下面的脚本主要为上层的应用脚本抽象出来的一层命
Hadoop自动化集群部署脚本
judy_0131的专栏
08-19 487
最近写了个自动化部署hadoop集群的脚本，在ubuntu12.04和14.04上测试没有问题~~感兴趣的可以看看 git hub地址：https://github.com/judy0131/hadoopInstall，使用方法参考README.md 需要安装git 和git lfs（用于存放安装包如jdk，protocbuf，hadoop，参考资料https://help.github.
HDFS启动
weixin_34396103的博客
04-18 650
标签（空格分隔）： 大数据 HDFS [toc] 所有的分析以单机安装的Hadoop版本2.6.4为例分析。步骤依赖于安装文档中的步骤，见Hadoop的单机安装 预制几个重要的脚本文件： 假设hadoop的安装目录在HADOOP_HOME。 重要的脚本文件hadoop-functions.sh。 步骤详解 格式化系统 第一步要：$ bin/hdf...
Hadoop启动脚本分析
m0_67402026的博客
08-16 1044
这个启动脚本还是比较复杂，从这个启动脚本我学习到很多知识，第一就是学到很多有关于shell编程的知识，里面很多shell编程的技巧值得学习和借鉴；第二，通过整个启动过程的了解，知道了运行hadoop需要设置的很多东西，包括我们在配置文件中配置的一些选项是怎么起作用的、设置了哪些classpath路径等，第三，详细了解了所有能够通过hadoop执行的命令。还有其他许多收获竟在不言中。下面查看方法是在bin/hadoop文件的最后exec上加如下语句：echo “JAVA−Dproc_...
大数据Hadoop系列之Hadoop服务开机自启动配置
热门推荐
飞翔的博客
10-30 1万+
1.  编写运行脚本 $ sudo cd /etc/init.d $ sudo vi hadoop #!/bin/bash #chkconfig:35 95 1 #description:script to start/stop hadoop su - hadoop <<! case $1 in start) sh /opt/apache/hadoop/hadoop-2.7....
Hadoop集群部署(附集群启停脚本)
zhaozhufeng的博客
12-08 2341
集群部署规划(Hadoop3.1.3)
Hadoop启动脚本
weixin_56765170的博客
05-08 79
#! /bin/bash #1、判断参数是否传入 if [ $# -lt 1 ] then echo "必须传入一个参数..." exit fi #2、匹配参数执行逻辑 case $1 in "start") echo "=============================启动HDFS======================" ssh hadoop102 "start-dfs.sh" echo "=============================启动...
怎么理解hive、hdfs、shell脚本
最新发布
06-07
Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库...在Hadoop生态系统中，Shell脚本通常用于自动化部署、启动、停止和监控Hadoop集群，以及执行Hive脚本和Hadoop MapReduce作业等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值