新手安装hadoop教程和个人遇到的错误及解决办法(错误:./hadoop-daemon.sh start journalnode用不了和WARNING: HADOOP_SECURE_DN_USER)

首先Hadoop的安装分为三大步(视频教程移步https://www.bilibili.com/video/BV1mL4y1T7em?spm_id_from=333.337.search-card.all.click&vd_source=96eec18a2c03fd64449b064c4b88e26a):

一、配系统

        1.安装CentOs 7 Minimal

                ·默认硬盘分区格式化

                ·设置root密码

二、配环境

1.网络环境

        ·静态IP

        ·免密登录

2.运行环境

        JDK环境变量

        hadoop环境变量

三、配软件

1.Hadoop的配置文件

        ·core-site.xml        

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定hdfs的文件系统,以及谁是namenode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1/</value>
    </property>
<!-- hadoop临时文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/czq/hadoop/hadoop-3.2.0/tmp</value>
    </property>
<!-- 指定ZooKeeper主机以及端口-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>Ubuntu3:2181,Ubuntu4:2181</value>
    </property>
</configuration>

        ·hdfs-site.x

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: hadoop-daemon.sh start namenode 的意思是启动 Hadoop 的 NameNode 守护进程。这个命令会在 Hadoop 集群中启动 NameNode,让它开始监听来自其他节点的请求,并管理 HDFS 中的文件系统元数据。在启动 NameNode 之前,需要确保 Hadoop 集群的配置文件已经正确配置,并且所有节点都已经启动。 ### 回答2: hadoop-daemon.sh start namenode命令用于启动Hadoop集群中的NameNode服务。NameNode是Hadoop分布式文件系统(HDFS)的主节点,负责管理文件系统的命名空间和数据块的映射。 当我们执行hadoop-daemon.sh start namenode命令时,它会在集群中找到配置好的NameNode节点,并开始运行NameNode服务。运行该命令后,NameNode会开始进行一系列的初始化操作,包括检查配置文件、建立文件系统元数据、加载存储的文件系统状态等。 在启动过程中,NameNode会读取Hadoop配置文件中的相关参数,如文件系统的副本数、块大小等。这些参数将决定集群中数据的冗余备份和数据块的大小。它还会创建一个日志文件,记录集群的状态和操作信息,以便故障恢复和监控。 一旦NameNode服务成功启动,它将开始监听来自客户端和其他节点的请求,并进行相应的处理,如创建文件、删除文件、移动文件等。NameNode还负责管理集群中各个数据块的位置信息,以便客户端能够有效地读取和写入数据。 总之,hadoop-daemon.sh start namenode命令的执行将启动Hadoop集群中的NameNode服务,使得用户能够在分布式文件系统中进行文件管理和数据处理操作。 ### 回答3: 当我们在使用Hadoop时,要启动Namenode守护进程,可以使用"hadoop-daemon.sh start namenode"命令。 首先,这个命令会调用hadoop-daemon.sh脚本,然后指定"start"参数以表明我们要启动一个守护进程。接下来,我们指定"namenode"参数以告诉脚本我们要启动的是Namenode守护进程。 Namenode是Hadoop中的一个核心组件,主要负责管理和存储文件系统的元数据,例如文件和目录的层次结构,文件的访问权限等。启动Namenode守护进程后,我们可以使用Hadoop系统进行大规模数据处理和分析。 当我们执行"hadoop-daemon.sh start namenode"命令时,脚本会启动Namenode守护进程,并将其设置为在后台运行。脚本会根据Hadoop配置文件中的设置来启动守护进程,并将日志输出到指定的日志文件中。 通过启动Namenode守护进程,我们可以通过web界面或命令行工具来监视和管理Hadoop集群中的文件系统。在启动Namenode守护进程之前,我们需要确保Hadoop集群的配置正确,并且所有必要的服务和资源已经启动和可用。 总的来说,"hadoop-daemon.sh start namenode"命令是启动Hadoop集群中Namenode守护进程的关键步骤之一,它使得我们能够使用Hadoop系统进行大规模数据处理和管理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值