大数据项目-5.hadoop（六.hadoop-hdfs安装）

一：官网下载地址

hadoop3.3.2官网地址

二：上传虚拟机。

解压

tar -axvf hadoop-3.2.2.tar.gz

三：修改配置文件

1. 修改hadoop-env.sh ，配置Java环境。

export JAVA_HOME=/usr/local/lib/jdk-17.0.2
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

vim hadoop-env.sh

根据自己环境的java路径来填写。

2. 启动hadoop

cd /etc/hadoop/hadoop-3.2.2/bin
./hadoop

3. 修改core-site.xml

cd /etc/hadoop/hadoop-3.2.2/etc/hadoop
vim core-site.xml

添加以下代码

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hdfs-yjx</value>
         </property>
         <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/var/yjx/hadoop/ha</value>
         </property>
         <property>
                 <name>hadoop.http.staticuser.user</name>
                <value>root</value>
         </property>
         <property>
                 <name>ha.zookeeper.quorum</name>
                 <value>10.10.10.11:2181,10.10.10.12:2181,10.10.10.13:2181</value>
         </property>
</configuration>

4. hdfs-site.xml

<configuration>
<property>
        <name>dfs.nameservices</name>
        <value>hdfs-yjx</value>
</property>
<property>
        <name>dfs.ha.namenodes.hdfs-yjx</name>
        <value>nn1,nn2</value>
</property>
<property>
        <name>dfs.namenode.rpc-address.hdfs-yjx.nn1</name>
        <value>10.10.10.11:8020</value>
</property>
<property>
        <name>dfs.namenode.rpc-address.hdfs-yjx.nn2</name>
        <value>10.10.10.12:8020</value>
</property>
<property>
        <name>dfs.namenode.http-address.hdfs-yjx.nn1</name>
        <value>10.10.10.11:9870</value>
</property>
<property>
        <name>dfs.namenode.http-address.hdfs-yjx.nn2</name>
        <value>10.10.10.12:9870</value>
</property>
<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://10.10.10.11:8485;10.10.10.12:8485;10.10.10.13:8485/hdfs-yjx</value>
</property>
<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/yjx/hadoop/ha/qjm</value>
</property>
<property>
        <name>dfs.client.failover.proxy.provider.hdfs-yjx</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxy Provider</value>
</property>
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        <value>shell(true)</value>
</property>
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
</property>
<property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<property>
        <name>dfs.client.failover.proxy.provider.hdfs-yjx</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

</configuration>

5. workers
   配置另外俩台服务器。

10.10.10.11
10.10.10.12
10,10,10,13            

6. scp另外俩台服务器。

cd /etc
scp -r hadoop root@10.10.10.12:/etc/
scp -r hadoop root@10.10.10.13:/etc/

7. 配置环境变量

11 ，12 ，13都要配置
export HADOOP_HOME=/etc/hadoop/hadoop-3.2.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

8. 启动zk

三台都要启动
zkServer.sh start

9. 启动JournalNode

三台都启动。

 hdfs --daemon start journalnode

10. 格式化

cd /etc/hadoop/hadoop-3.2.2/bin
[root10.10.10.11 yjx]# hdfs namenode -format
[root10.10.10.11 yjx]# hdfs --daemon start namenode
[root10.10.10.12 yjx]# hdfs namenode -bootstrapStandby
[root10.10.10.11 yjx]# hdfs zkfc -formatZK
[root10.10.10.11 yjx]# start-dfs.sh

查看web页面
http://10.10.10.11:9870/
http://10.10.10.12:9870/


11 .  关闭集群

[root10.10.10.11 yjx]# stop-dfs.sh