hadoop启动HDFS命令

本文介绍了Hadoop分布式文件系统(HDFS)的启动和停止操作。使用/hadoop/sbin/start-dfs.sh命令可以启动HDFS,而/hadoop/sbin/stop-dfs.sh用于停止服务。了解这些基础命令对于管理和维护Hadoop集群至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

启动命令:/hadoop/sbin/start-dfs.sh

停止命令:/hadoop/sbin/stop-dfs.sh

### 下载Hadoop 要下载Hadoop,可以访问Apache Hadoop的官方网站[^4]。在网站上找到最新的稳定版本并下载对应的压缩包(通常是`.tar.gz`格式)。以下是具体的操作: 1. 访问[Hadoop官方主页](https://hadoop.apache.org/)。 2. 进入“Downloads”页面获取最新版本的链接。 3. 使用命令行工具如`wget`或者通过浏览器手动下载。 ```bash wget https://downloads.apache.org/hadoop/common/stable/hadoop-<version>.tar.gz ``` 其中 `<version>` 是具体的版本号,例如 `3.2.1`。 --- ### 解压与配置Hadoop环境 #### 1. 解压安装包 将下载好的 `.tar.gz` 文件解压到目标路径下。 ```bash tar -zxvf hadoop-<version>.tar.gz -C /usr/local/ cd /usr/local/ ln -s hadoop-<version> hadoop export PATH=$PATH:/usr/local/hadoop/bin ``` 这一步会创建软连接 `/usr/local/hadoop` 并将其加入系统的环境变量中。 #### 2. 修改核心配置文件 Hadoop 的主要配置文件位于 `$HADOOP_HOME/etc/hadoop/` 路径下。需要重点调整以下几个文件的内容[^3][^4]: ##### (a) **core-site.xml** 此文件用于定义 HDFS 和其他服务的核心参数。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 如果是在分布式环境中,则需替换 `localhost` 为主节点的实际 IP 地址或域名。 ##### (b) **hdfs-site.xml** 该文件主要用于设置 NameNode 和 DataNode 的副本数以及其他高级选项。 ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` 此处设定的是默认的数据块复制因子为 3。 ##### (c) **workers** 这个文件列出了所有的 DataNode 所运行的机器名称列表。对于单机伪分布模式来说只需保留本地主机名即可;而在真实集群环境下则应填入各工作节点的名字。 --- ### 格式化NameNode 首次启动之前必须先初始化 HDFS 文件系统元数据存储区域,即完成所谓的 “格式化”。 ```bash $HADOOP_HOME/bin/hdfs namenode -format ``` 注意:每次重新搭建都需要重新执行这一指令,但如果已经存在旧数据可能会被覆盖,请谨慎操作! --- ### 启动HDFS集群 当所有前期准备工作完成后就可以利用内置脚本来控制整个过程了。 #### 1. 启动HDFS服务 输入如下命令来开启全部必要的守护进程: ```bash $HADOOP_HOME/sbin/start-dfs.sh ``` 成功之后可以通过 Web UI 来监控状态,默认端口是 9870: 打开浏览器访问 http://master-ip-address:9870/ #### 2. 停止HDFS服务 同样也提供了停止功能,在不需要的时候可以用下面这条语句结束掉当前正在运转的服务实例们: ```bash $HADOOP_HOME/sbin/stop-dfs.sh ``` 以上就是完整的从零开始建立一个简单的基于 Linux 系统上的 Hadoop 单节点开发测试平台的方法概述[^1]. --- ### 验证HDFS是否正常运作 最后为了确认一切顺利无误,我们可以尝试向刚刚新建出来的分布式文件系统里写入一些东西再读取出来看看效果怎样样吧? ```bash echo "Test Content" | hdfs dfs -put - testfile.txt hdfs dfs -cat /testfile.txt rm -f testfile.txt && hdfs dfs -get /testfile.txt . cat ./testfile.txt ``` 这样就完成了基本的功能检测环节啦! ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值