hadoop单机版部署

最新推荐文章于 2024-05-11 20:27:30 发布

求知若渴，虚心若愚。

最新推荐文章于 2024-05-11 20:27:30 发布

阅读量754

点赞数

分类专栏： hadoop 文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/qq_33283901/article/details/130944945

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.下载hadoop

wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2.解压重命名

tar -zxvf hadoop-3.3.1.tar.gz

mv hadoop-3.3.1.tar.gz hadoop

3.编辑hosts

vim /etc/hosts

172.17.1.1 hadoop925

4.进入配置 cd /data/hadoop/etc/hadoop/

5.vim hadoop-env.sh 添加JAVA

export JAVA_HOME=/usr/java/jdk1.8.0_121

6.vim core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/datah/data/hadoop/work/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop925:8020</value>
</property>
</configuration>

7.vim hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdpdata/data/</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop925:9870</value>
</property>

</configuration>

8.vim yarn-site.xml

<configuration>

 <property>
      <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
      <value>98.0</value>
  </property>


</configuration>

9.进入/data/hadoop/sbin ，相关sh 文件配置添加到顶部

9.1 vim start-dfs.sh 和 vim stop-dfs.sh 顶部添加配置

#!/usr/bin/env bash

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root