AWS-EC2 部署安装hadoop

本文详细记录了在AWS EC2上部署Hadoop的全过程,包括创建EC2实例、配置SSH、安装Java、安装配置Hadoop、运行Hadoop集群以及进行HDFS基本操作,旨在提供一个最新的实践教程。
摘要由CSDN通过智能技术生成

网上教程都太老旧了。。。排了无数的坑,写个教程方便以后看。。。


1.创建EC2的虚拟机


建立账号后进入EC2界面,选择创建实例,然后选择Ubuntu 16.04t2micro的免费套餐,后面两项实例数量可以按需输入,硬盘大小同上,但注意免费的只有30G。



安全组这一项一定要注意,如果设置错误会导致之后使用浏览器无法访问集群。安全组配置如下:


最后创建实例的时候会需要你创建或者使用已经存在的密钥,记得将pem的密钥文件下载下来好好保存,该文件是以后登录机器的唯一凭证。


2.登陆实例


我使用的是putty登录,具体登录方法可以搜索其他博客(需要导入密钥)。记住登陆用户名是ubuntu就行了。


3.配置SSH


进入home/ubuntu下的.ssh目录,在里面创建一个新文件,命名为id_rsa

打开文件,将下载下来的pem密钥内容复制进去,保存,并调整文件权限到600

然后在控制台输入:

ssh-agent bash
ssh-add
出现Identity added: /home/ubuntu/.ssh/id_rsa (/home/ubuntu/.ssh/id_rsa)则表示配置成功,就可以使用该机器ssh其他使用相同密钥的机器了。记得要把master和salave都进行该操作。


4.安装配置java


在控制台输入:

sudo apt-get update
sudo apt-get -y install openjdk-8-jdk-headless

然后:

sudo apt-get update

在文件尾加入(按a修改,esc退

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值