hadoop配置流程

本文档详细介绍了配置Hadoop集群的全过程,包括新建虚拟机、设置主机名、配置静态IP、关闭防火墙、实现SSH无密码登录、安装与配置JDK、上传并解压Hadoop、修改配置文件、格式化HDFS以及启动和检查Hadoop服务等步骤。
摘要由CSDN通过智能技术生成

第一步:重新新建一个虚拟机,命名为hadoop[内存不能太小了]

第二步:添加镜像文件(ISO文件)

第三步:root用户登录

第四步:

第五步:修改主机名为master

执行:vim /etc/sysconfig/network

第六步:配置静态IP地址
执行:vim /etc/sysconfig/network-scripts/ifcfg-eth0

执行:ifconfig

第七步:修改主机映射文件
执行:vim /etc/hosts

    执行:ping  master

第八步:关闭防火墙
执行:service iptables stop

第九步:启动ssh服务
执行:service sshd start

第十步:生成ssh公钥
执行:ssh-keygen -t rsa

第十一步:拷贝公钥到本机

第十二步:验证无密码登录
执行:ssh master

第十三步:xshell远程连接
打开xshell软件

      接受并保存→输入用户名hadoop→输入密码

第十四步:查看并卸载jdk安装包
执行:rpm -qa | grep jdk

第十五步:改变/opt目录的权限
执行:chown -R hadoop:hadoop /opt

第十六步:登录filezilla&#x

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop是一个开源的分布式计算框架,它的启动流程可以简单概括为以下几个步骤: 1. 启动NameNode:NameNode是Hadoop的主节点,负责管理文件系统的命名空间和数据块的位置信息。在启动过程中,NameNode会加载文件系统的元数据,并监听来自客户端和其他节点的请求。 2. 启动DataNode:DataNode是Hadoop的数据节点,负责存储实际的数据块。在启动过程中,DataNode会向NameNode注册自己,并定期向NameNode发送心跳信号以保持连接。 3. 启动ResourceManager:ResourceManager是Hadoop的资源管理器,负责协调集群中各个应用程序对资源的请求。在启动过程中,ResourceManager会加载集群的配置信息,并监听来自客户端和其他节点的请求。 4. 启动NodeManager:NodeManager是Hadoop的节点管理器,负责管理每个节点上的容器和任务。在启动过程中,NodeManager会向ResourceManager注册自己,并定期向ResourceManager发送心跳信号以保持连接。 5. 启动JobHistoryServer:JobHistoryServer是Hadoop的作业历史服务器,负责存储和展示作业执行的历史信息。在启动过程中,JobHistoryServer会加载历史信息的存储路径,并监听来自客户端和其他节点的请求。 6. 启动其他组件:除了上述核心组件外,Hadoop还包括其他一些组件,如SecondaryNameNode、JournalNode等,它们在启动过程中会根据需要进行相应的初始化和启动。 以上是Hadoop的简要启动流程,涉及到的组件和步骤可能会因具体的Hadoop版本和配置而有所不同。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值