hadoop 阿里云伪分布式配置

本文详细介绍了如何在阿里云环境中配置Hadoop的伪分布式模式,通过编辑core-site.xml文件进行关键设置,实现单节点上的分布式计算功能。
摘要由CSDN通过智能技术生成

伪分布式配置(主要问题是阿里云安全组规则一定要配置,其次是vim /etc/hosts  里面是内网ip对应主机名, vim slaves   是外网ip对应主机名)
输入ifconfig
查看内网ip地址

其中inet addr后即为内网ip
由于我买的阿里云系统是Ubuntu  所以关闭防火墙操作如下  centos关闭操作与此不同
输入ufw disable  ( 关闭防火墙)
Firewall stopped and disabled on system startup 
输入sudo ufw status  (查看防火墙状态)
Status: inactive  (表示已关闭)
配置hosts文件的时候,本机用内网ip和主机名映射,并添加其他机器的公网ip和主机名的映射。)
输入vim /etc/hosts  

127.0.0.1    localhost
172.19.155.254  zzz
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

(inet addr:172.19.155.254 hostname -i 显示真实ip)


ssh免密登录   一直回车
ssh -keygen -t rsa  (多个设备同样操作)

cd ./ssh

ssh-copy-id -i ~/.ssh/id_rsa.pub zzz(多个设备同样操作)


xshell与xftp5使用问题不再描述
我这里下载的是jdk-8u11-linux-i586.tar.gz 和 hadoop-2.9.0
对于下载jdk和hadoop安装包问题不再描述(下载的位数一定要跟系统位数相匹配,系统位数查看  命令行输入  uname -a)
新建 /user存放jdk和hadoop安装包
tar -zxvf jdk-8u11-linux-i586.tar.gz -C /user(解压下载的jdk到/user目录,这里是在本机下载用xftp5上传到云平台)
hadoop下载解压同理  
都解压后配置环境变量
vim /etc/profile  

export JAVA_HOME=/user/jdk1.8.0_11
export PATH=$JAVA_HOME/bin:$PATH
#设置环境变量

source /etc/profile (表示不用重启直接应用当前更改的环境变量)

vim /etc/profile 

export HADOOP_HOME=/user/hadoop-2.9.0
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile
查看java路径
echo $JAVA_HOME
vim hadoop-env.sh    

${JAVA_HOME}改为 /user/jdk1.8.0_11

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值