一、hadoop3.1伪分布式搭建

本文档详细介绍了在CentOS7虚拟机上搭建Hadoop3.1伪分布式环境的步骤,包括安装JDK,配置Hadoop环境,调整各配置文件,设置环境变量,解决启动过程中遇到的问题,如权限、用户定义等。最终成功启动HDFS和YARN,并给出了HDFS和YARN的管理页面地址。
摘要由CSDN通过智能技术生成

前言

本次hadoop3.1安装在虚拟机CENTOS7上,虚拟机与物理机的网络互通我就不多说了,自行配置好就可以了

安装jdk1.8

配置jdk环境变量(简单,省略,不懂的百度一下就好了)

java -version确认jdk是否已经安装完成

安装HADOOP3.1环境

第一步

下载hadoop3.1 http://hadoop.apache.org/releases.html

chmod 755 hadoop-3.1.0.tar.gz

tar -zxvf hadoop-3.1.0.tar.gz

在hadoop-env.sh中export java_home

vi hadoop-env.sh文件(在hadoop3.1/etc/hadoop目录)

加入export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64

第二步

在core-site.xml配置

<!—指定HDFS NameNod的地址 -->

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://aguang01:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/ro

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值