hadoop 3.3.6 HA安装

已于 2024-08-22 11:35:46 修改
阅读量761 收藏 8
点赞数 19
分类专栏： 大数据 文章标签： hadoop 大数据
于 2024-08-05 18:30:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeady82/article/details/140931139
版权

一、准备

        1、版本

                hadoop-3.3.6

        2、服务角色

No.

ip

role1

role2

role3

role4

role5

role6

remark

1

hadoop01

nn

jn

dn

rm

nm

jhs

2

hadoop02

nn

jn

dn

rm

nm

3

hadoop03

jn

dn

nm

4

hadoop04

dn

nm

        3、创建用户

useradd hdfs

        4、ssh免密

ssh-keygen -b 1024 -t rsa

        5、添加服务的DNS解析或hosts文件

二、服务部署

        1、安装

cd /BigData/install
tar xvf hadoop-3.3.6.tar.gz
ln -snf /BigData/install/hadoop-3.3.6 /BigData/run/hadoop

        2、定义环境变量

cat >> /etc/profile.d/hadoop.sh << EOF


#HADOOP
export HADOOP_HOME=/BigData/run/hadoop
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CMD=${HADOOP_HOME}/bin/hadoop
export HADOOP_STREAMING=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.0-cdh5.2.0.jar
export LD_LIBRARY_PATH=/usr/lib64:$LD_LIBRARY_PATH
export HADOOP_CLASSPATH=`hadoop classpath`

EOF

        3、修改配置

                core-site.xml

[hdfs@hadoop01 ~]# cat $HADOOP_HOME/etc/hadoop/core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://jedy</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hadoop01.jedy.com.cn:12181,hadoop02.jedy.com.cn:12181,hadoop03.jedy.com.cn:12181</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/store/hadoop/hdfs/tmp</value>
        </property>
        <property>
                <name>io.compression.codecs</name>
                <value>org.apache.hadoop.io.compress.GzipCodec,
      org.apache.hadoop.io.compress.DefaultCodec,
      org.apache.hadoop.io.compress.DeflateCodec,
      com.hadoop.compression.lzo.LzoCodec,
      com.hadoop.compression.lzo.LzopCodec,
      org.apache.hadoop.io.compress.BZip2Codec,
      org.apache.hadoop.io.compress.SnappyCodec,
      org.apache.hadoop.io.compress.ZStandardCodec,
      org.apache.hadoop.io.compress.Lz4Codec
                </value>
        </property>
        <property>
                <name>io.compression.codec.lzo.class</name>
                <value>com.hadoop.compression.lzo.LzoCodec</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hdfs.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hdfs.hosts</name>
                <value>*</value>
        </property>
</configuration>

        hdfs-site.xml

[hdfs@hadoop01 ~]$ cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.nameservices</name>
                <value>jedy</value>
        </property>
        <property>
                <name>dfs.ha.namenodes.jedy</name>
                <value>nn1,nn2</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.jedy.nn1</name>
                <value>hadoop01.jedy.com.cn:8020</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.jedy.nn2</name>
                <value>hadoop02.jedy.com.cn:8020</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.jedy.nn1</name>
                <value>hadoop01.jedy.com.cn:50070</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.jedy.nn2</name>
                <value>hadoop02.jedy.com.cn:50070</value>
        </property>
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://hadoop01.jedy.com.cn:8485;hadoop02.jedy.com.cn:8485;hadoop03.jedy.com.cn:8485/jedy</value>
        </property>
        <property>
                <name>dfs.client.failover.proxy.provider.jedy</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/store/hadoop/hdfs/datanode</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/store/hadoop/hdfs/namenode</value>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.datanode.socket.write.timeout</name>
                <value>18000000</value>
        </property>
        <property>
                <name>dfs.socket.timeout</name>
                <value>18000000</value>
        </property>
        <property>
                <name>dfs.support.append</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence(hdfs:22)
      sshfence(hdfs:22)
      shell(/bin/true)
                </value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hdfs/.ssh/id_rsa</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/data/store/hadoop/journalnode</value>
        </property>
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.client.read.shortcircuit</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.domain.socket.path</name>
                <value>/data/store/hadoop/run/dfssocket</value>
        </property>
        <property>
                <name>dfs.client.use.datanode.host</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.datanode.use.datanode.host</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.hosts.exclude</name>
                <value>/BigData/run/hadoop/etc/hadoop/excludes</value>
        </property>
        <property>
                <name>dfs.namenode.support.allow.format</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.namenode.acls.enabled</name>
                <value>true</value>
        </property>
</configuration>
[hdfs@hadoop01 ~]$

        yarn-site.xml

[hdfs@hadoop01 ~]$ cat $HADOOP_HOME/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>Enable the web proxy connection timeout, default is enabled.</description>
        <name>yarn.resourcemanager.proxy.timeout.enabled</name>
        <value>true</value>
    </property>
    <property>
        <description>The web proxy connection timeout.</description>
        <name>yarn.resourcemanager.proxy.connection.timeout</name>
        <value>60000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>jedy</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop01.jedy.com.cn:12181,hadoop02.jedy.com.cn:12181,hadoop03.jedy.com.cn:12181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>/yarn-leader-election</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-state-store.parent-path</name>
        <value>/rmstore</value>
    </property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop01.jedy.com.cn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop02.jedy.com.cn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop01.jedy.com.cn:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop02.jedy.com.cn:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hadoop01.jedy.com.cn:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop02.jedy.com.cn:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop01.jedy.com.cn:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hadoop02.jedy.com.cn:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>hadoop01.jedy.com.cn:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>hadoop02.jedy.com.cn:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop01.jedy.com.cn:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop02.jedy.com.cn:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>204800</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>50</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/store/hadoop/yarn/nodemanager/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/store/hadoop/yarn/nodemanager/logs</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.bind-host</name>
        <value>0.0.0.0</value>
    </property>


    <property>
        <name>yarn.nodemanager.bind-host</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.timeline-service.bind-host</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_HOME/lib/*,
            $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
            $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
            $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*,
            $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*,
$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/yarn/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/tools/lib/*,$HADOOP_HOME/share/hadoop/tools/*
        </value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <final>true</final>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-check-interval-seconds</name>
        <value>-1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.client.thread-count</name>
        <value>100</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.client.thread-count</name>
        <value>100</value>
    </property>
    <property>
        <name>yarn.scheduler.increment-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>40960</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>20</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allow-undeclared-pools</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>3.5</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>fair-scheduler.xml</value>
    </property>
    <property>
        <name>yarn.resourcemanager.client.thread-count</name>
        <value>50</value>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.client.thread-count</name>
        <value>20</value>
    </property>
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>10000</value>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.fetch.thread-count</name>
        <value>16</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.amliveliness-monitor.interval-ms</name>
        <value>10000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.assignmultiple</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.max.assign</name>
        <value>5</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.user-as-default-queue</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>97</value>
    </property>
    <property>
        <name>yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb</name>
        <value>204800</value>
    </property>
    <property>
        <name>yarn.nodemanager.health-checker.scripts</name>
        <value>custom-disk-check</value>
    </property>
    <property>
        <name>yarn.nodemanager.health-checker.custom-disk-check.interval-ms</name>
        <value>600000</value>
    </property>
    <property>
        <name>yarn.nodemanager.health-checker.custom-disk-check.timeout-ms</name>
        <value>120000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.nodemanagers.heartbeat-interval-ms</name>
        <value>1000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.am.max-attempts</name>
        <value>3</value>
    </property>
    <property>
        <name>yarn.resourcemanager.work-preserving-recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-retry-interval-ms</name>
        <value>5000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-num-retries</name>
        <value>20</value>
    </property>
    <property>
        <name>yarn.cluster.max-application-priority</name>
        <value>15</value>
    </property>
    <property>
        <name>yarn.resourcemanager.nodes.exclude-path</name>
        <value>/BigData/run/hadoop/etc/hadoop/yarn_excludes</value>
    </property>
</configuration>
[hdfs@hadoop01 ~]$

mapredu-site.xml

[hdfs@hadoop01 ~]$ cat $HADOOP_HOME/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01.jedy.com.cn:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01.jedy.com.cn:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.admin.address</name>
    <value>0.0.0.0:19888</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.bind-host</name>
    <value>0.0.0.0</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>2560</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2560</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx2048m</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx2048m</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.move.interval-ms</name>
    <value>180000</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.move.thread-count</name>
    <value>5</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.cleaner.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.cleaner.interval-ms</name>
    <value>86400000</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.max-age-ms</name>
    <value>604800000</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.client.thread-count</name>
    <value>20</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.datestring.cache.size</name>
    <value>200000</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.joblist.cache.size</name>
    <value>160000</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.loadedjobs.cache.size</name>
    <value>20</value>
  </property>
  <property>
    <name>mapreduce.client.submit.file.replication</name>
    <value>30</value>
  </property>
  <property>
    <name>mapreduce.map.failures.maxpercent</name>
    <value>0</value>
  </property>
  <property>
    <name>mapreduce.reduce.failures.maxpercent</name>
    <value>0</value>
  </property>
  <property>
    <name>mapreduce.map.maxattempts</name>
    <value>3</value>
  </property>
  <property>
    <name>mapreduce.reduce.maxattempts</name>
    <value>3</value>
  </property>
  <property>
    <name>io.sort.mb</name>
    <value>100</value>
  </property>
  <property>
    <name>mapreduce.job.reduce.slowstart.completedmaps</name>
    <value>0.99</value>
  </property>
  <property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
  </property>
  <property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
  </property>
  <property>
    <name>mapred.child.env</name>
    <value>LD_LIBRARY_PATH=/usr/lib64</value>
  </property>
  <property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value>
  </property>
  <property>
    <name>mapreduce.job.max.split.locations</name>
    <value>500</value>
  </property>
  <property>
    <name>mapreduce.client.submit.file.replication</name>
    <value>30</value>
  </property>
  <property>
    <name>mapreduce.job.queuename</name>
    <value>root.default</value>
  </property>
</configuration>
[hdfs@hadoop01 ~]$

三、namenode初始化（首次启动）

        1、启动ZK

                ZK服务部署参考：Zookeeper 多实例安装-CSDN博客

                在所有的ZK节点执行命令（若未启动）：

                zkServer.sh start

        2、格式化ZK（ 仅第一次需要做 ）

                任意ZK节点上执行：

                hdfs zkfc -formatZK

        3、启动ZKFC

                hadoop-daemon.sh start zkfc

        4、启动JournalNode

                在各个JN节点上启动：

                hadoop-daemon.sh start journalnode

        5、格式化namenode

                注意：只有第一次启动系统时需格式化，请勿重复格式化！

               hdfs namenode -format            

        6、在 主NN节点 执行命令启动NN:  

                 hadoop-daemon.sh start namenode                

        7、在 备NN 上同步主NN的元数据信息

                hdfs namenode -bootstrapStandby

        8、启动备NN

                在备NN上执行命令：

                hadoop-daemon.sh start namenode

        9、设置主NN

        （ 这一步可以省略 ，这是在设置手动切换NN时的步骤，ZK已经自动选择一个节点作为主NN了）

                hdfs haadmin -transitionToActive nn1

        10、效果验证--主备自动切换

                hdfs haadmin -failover nn1 nn2

四、常规启动

启动ZKFC
在两个NN节点上启动
su - hdfs -c 'hdfs --daemon start zkfc'

启动JN
在各个JN节点上启动
su - hdfs -c 'hdfs --daemon start journalnode'

启动NN
在两个NN节点上启动
su - hdfs -c 'hdfs --daemon start namenode'

启动DN
su - hdfs -c 'hdfs --daemon start datanode' 

启动RM
su - hdfs -c 'yarn --daemon start resourcemanager'

启动NM
su - hdfs -c 'yarn --daemon start nodemanager'

五、验证

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 20 20

六、访问Web UI

        http://hadoop01.jedy.com.cn:50070

七、服务扩容

        1、节点部署

        2、服务启动

启动DN
su - hdfs -c 'hdfs --daemon start datanode' 

启动NM
su - hdfs -c 'yarn --daemon start nodemanager'

八、服务缩容

        1、配置更新

                将需退役的节点主机名加入

                $HADOOP_HOME/etc/hadoop/excludes

                $HADOOP_HOME/etc/hadoop/yarn_excludes

        2、刷新NN

                su - hdfs -c "hdfs dfsadmin -refreshNodes"

        3、刷新RM

                su - hdfs -c "yarn rmadmin -refreshNodes "

        4、关闭服务

                http://hadoop01.jedy.com.cn:50070/dfshealth.html#tab-datanode 显示退役完成后关闭服务

jeady82
关注
专栏目录
hadoop(3) 搭建hadoop-HA_hadoop3 ha
2401_84185471的博客
04-27 344
node02应有：NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode。#在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点。#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点。#修改并添加启动的namenode节点、zookeeper 节点和对应端口。指定namenode逻辑一对多映射1的web应用。
Hadoop 3.3.6 安装教程
Grain_Rain_GR的博客
01-01 1101
hadoop 的安装与测试
hadoop3.3.6完全分布式搭建
最新发布
AMRXC的博客
09-13 584
（3）在 master 节点中使用 hadoop 用户依次配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml、workers 配置文件，Hadoop 集群部署规划如下表；hadoop完全分布式安装配置需要使用 root 用户和 hadoop 用户完成相关配置，使用三个节点完成 Hadoop 完全分布式安装配置。至 slave1 和 slave2 节点；
Hadoop-3.3.6完全分布式集群安装
m0_63480823的博客
09-09 375
Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机。Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip。Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名。Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹）
Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置
weixin_38735917的博客
09-26 6979
在安装 Hadoop 3.3.6 前，需要满足以下前置条件：Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK，并设置 JAVA_HOME 环境变量。SSH：Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在所有节点上安装和配置了 SSH，并且可以通过 SSH 无密码登录到集群的各个节点。
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
weixin_45962133的博客
07-12 1640
hadoop3.3.6完全分布式集群部署，三个节点配置
Hadoop高可用配置(HA)
qq_52299578的博客
09-12 1774
高可用配置(HA)
hadoop-3.4.6高可用安装
weixin_48729298的博客
06-17 236
1.在伪分布式下进行高可用式安装 hadoop的安装方案如下： 2.安装步骤 （1）分发jdk到node04,05,06 -scp jdk-7u67-linux-x64.rpm node04:pwd -scp jdk-7u67-linux-x64.rpm node05:pwd -scp jdk-7u67-linux-x64.rpm node06:pwd 并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。 （2）给node04、05、06分别安装jdk 分别在node04、05、06上执行rpm
HADOOP部署之后无法WEB访问
云计算和大数据的部署和运维技术
12-05 9613
问题现象部署HADOOP后，无法通过http://ip:port访问服务页面问题1：hdfs-site.xml配置项 通过jps命令查看java进程的状态，HADOOP相关的进程运行正常。 jps是jdk提供的一个查看当前java进程的小工具， 可以看做是JavaVirtual Machine Process Status Tool的缩写。 [root@node4 ~]# jps 25059 Se
CentOS 7.7 安装 Hadoop 3.1.3集群
扛麻袋的少年的博客
04-08 825
四、CentOS 7.7 安装 Hadoop 3.1.3集群
hadoopHA(高可用)namenode节点配置故障自动转移失败
盖世英雄来了
04-03 1857
在配置ha高可用的配置中，按照网上博客教程配置hdfs的故障自动转移失败， 举例来说：bigdata1和bigdata2这两个namenode节点 配置完成后，将bigdata1设置为active bigdata2设置为standby 然后用kill -9 xxxx杀死bigdata1的进程，发现，bigdata2并没有自动转换成active，依然是standby 查看...
在linux安装单机版hadoop-3.3.6
11-09 1299
进入etc/hadoop目录下，修改hadoop-env.sh文件。进入sbin目录下输入./start-all.sh。3.5、修改mapred-site.xml。3.4、修改 hdfs-site.xml。3.2、修改hadoop-env.sh。3.3、修改yarn-site.xml。3.6、修改core-site.xml。3.1、在hadoop目录下创建目录。三、修改hadoop对应的配置文件。2、配置hadoop环境变量。五、启动hadoop单机版。1、配置java环境变量。一、下载hadoop。
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 1904
一文搞定Hadoop完全分布式部署
大数据学习笔记：Hadoop3.3.0完全分布式集群安装
weixin_43824601的博客
02-01 1160
Hadoop3.3.0完全分布式安装前言Linux的相关配置1、设置ip地址2、关闭防火墙3、设置ip映射4、设置免密登录安装jdk1、下载安装包2、解压安装hadoop1、下载安装包2、解压3、修改配置文件 （在Master上操作）3.1、修改core-site.xml文件3.2、修改hdfs-site.xml文件3.3、mapred-site.xml3.4、yanr-site.xml3.5、hadoop-env.sh3.6、mapred-env.sh3.7、workers4、将Master的文件分发修改
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1327
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
Hadoop3.3.6高可用集群搭建
qq_28604399的博客
09-07 800
在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。解决方法：安装插件psmisc。
Centos7搭建hadoop3.3.4分布式集群
huan的学习记录
02-21 3154
最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。
Hadoop环境搭建
cashcat的技术专栏
11-24 3746
我用了1台机器，win7操作系统，机器配置6G内存，i5处理器，固态硬盘。 使用VMware虚拟机，安装了4台linux虚拟机，Linux操作系统，使用的Ubuntu系统。 Hadoop版本，使用1.x，经过实验测试，完全兼容的hadoop版本。 可以去网盘下载： hadoop-1.0.4.tar.gz hBase-0.94.18.tar.gz hive-0
centos7安装hadoop3.3.6
09-06
安装Hadoop 3.3.6在CentOS 7上的步骤如下： 1. 首先，你需要下载编译好的Hadoop 3.3.6的压缩包[hadoop-3.3.0-Centos7-64-with-snappy.tar.gz]。 2. 解压该压缩包，你可以使用以下命令：tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz。 3. 解压后，你将得到Hadoop的安装路径。在这个例子中，安装路径为/root/hadoop-3.3.0-src/hadoop-dist/target。 4. 接下来，你需要将Hadoop安装包分发到其他节点。你可以使用以下命令将Hadoop安装包复制到其他节点：cd /export/server scp -r hadoop-3.3.0 root@node2:$PWD scp -r hadoop-3.3.0 root@node3:$PWD。 5. 安装包已经成功分发到其他节点后，你可以在每个节点上执行Hadoop的安装和配置步骤。 请注意，以上步骤描述了在CentOS 7上安装Hadoop 3.3.6的大致过程，具体步骤可能因实际环境而有所不同。建议在安装过程中参考Hadoop官方文档以获取更详细的指导和最新的安装步骤。 :编译好的Hadoop 3.3.6的压缩包 :编译之后的安装包路径 :分发同步Hadoop安装包<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hadoop3 Centos 7编译安装和文件配置（内附编译好的包）](https://blog.csdn.net/weixin_58808338/article/details/128814319)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值