HDFS安装、配置与节点的一键启停

最新推荐文章于 2023-01-22 21:00:32 发布
最新推荐文章于 2023-01-22 21:00:32 发布
阅读量486 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wow_is_nothing/article/details/108045077
版权
本文详细介绍了HDFS的安装步骤，包括上传文件、解压Hadoop、配置环境变量、分发配置文件到其他节点、初始化NameNode、以及节点的一键启停。重点讲解了hadoop-env.sh、hdfs-site.xml和core-site.xml的配置，并强调了一键启停脚本的创建和使用。
摘要由CSDN通过智能技术生成

1、上传文件

alt+p或者rz将文件hadoop安装包上传至/opt/apps/下。

2、解压压缩包hadoop

var  -zxf	hadoop包名

3、hadoop目录介绍

在这里插入图片描述
log日志，是在使用后自动创建的。

4、修改配置文件

配置文件的位置：
ls 	/opt/apps/hadoop-3.2.1/etc/hadoop

在这里插入图片描述

4.1 vi hadoop-env.sh

进入文件后，输入":set nu"显示行号，在54行处，将#删除，把JAVA_HOME变量的绝对路径，这是配置Hadoop使用的java环境变量。

在这里插入图片描述

最低0.47元/天 解锁文章
Nothing!!!
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop--集群一键启停脚本、一键查看集群所有服务器进程脚本
weixin_44976835的博客
03-26 800
单节点启动和停止进程 hdfs/yarn --daemon start/stop namenode/datanode/secondarynamenode/resourcemanager/nodemanager 集群启停脚本 进入~/bin目录创建脚本： vim hadoopstart.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") ech
hadoop 高可用集群一键启动脚本
11-03
hadoop 高可用启动脚本，运行启动zookeeper集群和hadoop ha集群
编写一个一键开启hdfs、yarn和MapReduce的shell脚本
weixin_35750483的博客
01-06 322
好的，为了一键启动HDFS、YARN和MapReduce，可以使用如下脚本： #!/bin/bash # 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh # 启动MapReduce mr-jobhistory-daemon.sh start historyserver 需要注意的是，上述脚本假设HDFS、YARN和MapReduce的启动脚本都在当前路...
一键启动和关闭大数据集群（hdfs-yarn-historyserver-zookeeper-hbase）
我是jjking`
04-02 891
启动集群 #!/bin/bash #Zookeeper服务 for host in hadoop01 hadoop10 hadoop11 do ssh $host "source /etc/profile;/opt/model/zookeeper-3.6.0/bin/zkServer.sh start" done #启动hdfs服务集群 namenode 和 datanode st...
【甘道夫】一键启动集群，包括HDFS HA + YARN相关所有程序
甘道夫的大数据进化论
07-01 1979
一键启动集群的shell脚本，包括HDFS HA + YARN相关所有程序，FBI00X是主机名，供大家参考： #!/bin/bash echo "-------------------------Step1----------------------------" echo "Now,starting Zookeeper." ssh FBI001 $ZOOKEEPER_HOM
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
"大数据开发：HDFS数据节点与名称节点的通信机制" 大数据开发中，HDFS（Hadoop Distributed File System）作为分布式文件系统，提供了稳固的底层存储支持。HDFS的各个节点之间的通信机制是大数据开发的关键所在。...
07hadoop的安装&hdfs集群的配置与测试——好程序
01-07
hadoop单机安装与测试 1•Local (Standalone) Mode（单节点的本地模式）Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境，它使用linux的文件系统，适用于开发、测试、调试环境 运行案例 2•Pseudo-...
Hadoop-HDFS安装和管理.doc
最新发布
09-18
Hadoop_HDFS安装和管理
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
在构建高可用（HA）Hadoop集群时，HDFS（Hadoop Distributed File System）HA配置是关键步骤，目的是确保即使NameNode节点发生故障，数据访问和服务也不会中断。本教程将详细讲解如何配置、启动和验证Hadoop HA集群...
HDFS核心配置.xlsx
02-26
HDFS核心配置.xlsx
hadoop集群一键启动、关闭
10-15
自己写的脚本，一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
Hadoop集群部署总结(两个节点部署)
advent86的专栏
04-26 882
关于两个节点的集群部署，可以先参考，单个节点的伪集群部署的总结（https://blog.csdn.net/advent_java/article/details/105773087） 一、关于core-site.xml文件 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" ...
HDFS启动过程+安全模式
now
11-10 352
可以通过StartUp Progress查看HDFS的启动过程： 1加载文件的元信息fsimage 2加载操作日志文件edits 3操作检查点 4自动进入安全模式，检查数据块的副本率是否满足要求。当满足要求后，退出安全模式【安全模式safemode是HDFS所处的一种特殊状态。处于这种状态时，HDFS只接受读数据请求，不能对文件进行写、删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode回向NameNode上传它们数据块列表，让NameNode得到数据块的位置信息，
hadoop hdfs单节点简易部署（二）
王天一的博客
02-23 229
5.配置ssh localhost无密码信任关系 [hadoop@hadoop002 ~]$ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Created directory '/home/hadoop/.ssh'...
hadoop之hdfs的3个节点以同一进程启动
Sylvia_D507的博客
10-05 601
HDFS三个进程启动都以xxxxxxxx启动： 以我自己的机器名称为例： HDFS三个进程启动以hadoop001启动：etc/hadoop目录下设置 之前在部署hdfs时候修改了core-site.xml文件slaves文件 （1）在core-site.xml文件中修改fs.defaultFS参数为hadoop001，使NameNode进程以hadoop001启动。 （2）在slaves文...
一键启动hadoop集群
Cocobuhui的博客
01-22 999
一键启动hadoop集群
hadoop 启停命令(转)
weixin_33797791的博客
04-10 94
为什么80%的码农都做不了架构师？>>> ...
hadoop集群启动命令汇总
qq_43523503的博客
10-07 2373
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Secondary
CrateDB初探（五）：集群节点启停
Working hard and Focus
04-02 881
目录 第一步：设置cluster.routing.allocation.enable参数 第二布：graceful stop 第三步：启动一个新节点 本篇主要内容是优雅停机和rolling upgrade 假设集群中的一个节点 (node01) 需要停机维护，为此新启动一个节点加入集群 集群初始状态和shards分布 在停node01之前的shards 第一步：设置clus...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值