征文投稿丨使用轻量应用服务器部署Hadoop云集群

本文详述了一位作者如何利用阿里云轻量应用服务器部署Hadoop3.x的伪分布式集群,包括领取服务器、配置Java环境、安装Hadoop、配置核心站点与HDFS站点、解决防火墙端口问题,最后展示了成功访问Hadoop的浏览器截图。
摘要由CSDN通过智能技术生成

编者按:本文来自轻量应用服务器征文活动用户投稿,已获得作者(昵称Maynor大数据)授权发布。文章首发于微信公众号“弹性计算百晓生”。

由于我在工作学习中经常需要使用到Hadoop集群,而本地Hadoop有启动速度慢、操作麻烦和占用内存等痛点。最近在和粉丝的交流中,一位提到的伪分布式部署Hadoop的概念启发了我。正好领取的服务器还没开始用,何不用来部署云集群?以下为具体的部署过程,我选择的是Hadoop3.x的伪分布式部署方法。

1、领取轻量应用服务器

阿里云的产品活动还是很给力的,遇到像双11这样的大促活动,甚至可以做到免费获得服务器。如果你是学生,买轻量应用服务器还是很便宜的,只需要9元/月, 也可以参与阿里云开发者成长计划。

2、服务器选择和配置

这里选择的是轻量应用服务器,系统镜像和应用镜像不需要改变,保持默认值就行(WordPress, CentOS 7.3)。

这里需要设置root权限和密码

设置成功后通过本地terminal(MAC)或者cmd(Windows)来构建ssh:

ssh root@****

然后输入之前设置的root的权限密码(注意:这里的密码是不会有任何显示的)

若出现上图的情况,需要清理一下之前的key:

ssh-keygen -R XX.XX.XX.XX

然后再次用ssh连接,然后yes,到此我们进入到了阿里云的服务器。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值