Apache Hadoop生态部署-hadoop单机安装

iwester

已于 2023-03-01 23:22:26 修改

阅读量844

点赞数

分类专栏： Hadoop生态文章标签： hadoop apache 大数据

于 2023-02-23 23:33:50 首次发布

本文链接：https://blog.csdn.net/web_snail/article/details/129192283

版权

本文档详细介绍了Apache Hadoop在CentOS7系统上的单机安装过程，包括下载安装包、配置环境变量、配置Hadoop核心、HDFS、YARN和MapReduce的相关配置文件，以及启动和管理Hadoop集群的步骤。特别提到了资源配置建议和启动服务的检查方法。

摘要由CSDN通过智能技术生成

（3）HDFS 配置文件hdfs-site.xml

（4）YARN 配置文件yarn-site.xml

（5）MapReduce 配置文件mapred-site.xml

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：安装包下载

安装包下载地址：

可以去官网下载，或者通过百度网盘，上传到服务器上

链接：https://pan.baidu.com/s/1N9LTxEK2nedHdAxGIwhzeQ?pwd=yyds

提取码：yyds

2：配置环境变量

sudo vim /etc/profile.d/hadoop.sh
export HADOOP_HOME=/usr/local/hadoop3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

立即生效
source /etc/profile

3：服务配置

（1）core-site.xml

创建数据目录
mkdir -p ${HADOOP_HOME}/data

sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
<!-- 指定 hdfs NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node100:8020</value>
</property>

<!-- 配置 HDFS 网页登录使用的静态用户 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户-->
<property>
    <name>hadoop.proxyuser.root.users</name>
    <value>*</value>
</property>

<!-- 指定hadoop数据目录--> 
<property> 
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.2/data</value>
</property>

（2）配置 hadoop-env.sh

默认情况pid存储在/tmp下，时间长了会被清掉
sudo mkdir $HADOOP_HOME/pids
sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export HADOOP_SECURE_PID_DIR=${HADOOP_HOME}/pids
export HADOOP_PID_DIR=${HADOOP_HOME}/pids

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root



不指定user会遇到下面的问题，不过在后面配置了kerberos同样会解决
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.