Hadoop配置本第独立模式和伪分布模式

本文详细介绍了如何在伪分布模式下配置Hadoop,包括编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等关键步骤,以及配置SSH免密登录的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最好的是,看官网

配置Hadoop

  1. standalone(本地模式、独立模式)
    1. 什么都不需要干,不需要启动单独的hadoop进程,使用的就是本地系统,无守护进程在运行
  2. Pseudodistributed mode(伪分布模式),使用到那个功能可以相对应的配置那个功能
    1. 进入${HADOOP_HOME}/etc/hadoop目录
    2. 编辑core-site.xml
                  <?xml version="1.0"?>
                  <configuration>
                      <property>
                          <name>fs.defaultFS</name>
                          <value>hdfs://localhost/</value>
                      </property>
                  </configuration>
    3. 编辑hdfs-site.xml
                  <?xml version="1.0"?>
                  <configuration>
                      <property>
                          <name>dfs.replication</name>
                          <value>1</value>
                      </property>
                  </configuration>
    4. 编辑mapred-site.xml
                  注意:cp mapred-site.xml.template mapred-site.xml
                  <?xml version="1.0"?>
                  <configuration>
                      <property>
                          <name>mapreduce.framework.name</name>
                          <value>yarn</value>
                      </property>
                  </configuration>
    5. 编辑yarn-site.xml
                  <?xml version="1.0"?>
                  <configuration>
                      <property>
                          <name>yarn.resourcemanager.hostname</name>
                          <value>localhost</value>
                      </property>
                      <property>
                          <name>yarn.nodemanager.aux-services</name>
                          <value>mapreduce_shuffle</value>
                      </property>
                  </configuration>
    6. 配置SSH
      1. 检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
                        $yum list installed | grep ssh
      2. 检查是否启动了sshd进程
                        $>ps -Af | grep sshd
      3. 在client侧生成公私秘钥对。
                        $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      4. 生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)
      5. 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
                        $>cd ~/.ssh
                        $>cat id_rsa.pub >> authorized_keys
      6. 修改authorized_keys的权限为644.
                        $>chmod 644 authorized_keys
      7. 测试
                        $>ssh localhost
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值