Hadoop伪分布式配置(在阿里云服务器上搭建)

本文档详细介绍了如何在阿里云服务器上配置Hadoop伪分布式环境,包括安装JDK,关闭防火墙,解压安装Hadoop,配置Hadoop相关配置文件,如core-site.xml、hdfs-site.xml、yarn-site.xml等,并启动HDFS和YARN守护进程,最后通过Web界面验证配置成功。
摘要由CSDN通过智能技术生成

参考的博客
https://blog.csdn.net/hrainning/article/details/100689858
https://blog.csdn.net/qq_33202508/article/details/88261467

一.搭建前的准备

  1. 下载相关的软件jdk,hadoop
    jdk-8u212-linux-x64.tar.gz:
    链接:https://pan.baidu.com/s/1ymwv3szGCsQHmsPCq1ZSjA 密码:qhcn
    hadoop-2.6.0-cdh5.9.0.tar.gz安装包:
    http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.0.tar.gz
  2. linux系统

二.配置jdk环境,关闭防火墙(如已配置,请跳过)

1.安装jdk
#tar -zxf jdk-8u212-linux-x64.tar.gz -C ../modules/(放到自己jdk解压的目录下)

2.配置jdk环境变量
#vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

3.使配置生效
#source /etc/profile

4.卸载openJDK(不推荐使用自带的jdk)
#rpm -qa | grep jdk
删除所有openJdk
在这里插入图片描述
#rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.232.b09-0.el7_7.x86_64

5.查看防火墙是否关闭,CentOS 7以上没有了iptables文件,centos7 默认防火墙是firewalld,关闭防火墙有两种方式:

第一种方式:
查看防火墙状态:systemctl status firewalld.service
关闭防火墙:systemctl stop firewalld.service
设置关闭开机自启动防火墙:systemctl disable firewalld.service
第二种方式:
若是centos7以上需安装iptables
安装iptables-services:yum install iptables-services
启动iptables-services:systemctl enable iptables

centos7以下直接运行以下命令:
关闭防火墙:service iptables stop
查看防火墙状态:service iptables status
设置关闭开机自启动防火墙:chkconfig iptables off

关闭安全子系统
# vi /etc/sysconfig/selinux</

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值