阿里云ECS服务器配置Hadoop完全分布式环境

目录

项目分布式架构

前期准备工作

1.选购阿里云服务器

正式配置工作

(以下介绍的为每个节点都必备的工作)

2.启动远程连接

3.关闭防火墙

4.创建操作用户、修改权限

5.修改主机IP配置

 6.配置SSH

 7.上传文件到服务器

8.安装hadoop、Java

​(以下工作可以在一台节点做好，打包发送) 

9.配置Hadoop

注意事项 

---

项目分布式架构

Namenode	Hadoop002
SecondaryNamenode	Hadoop003
ResourceManager	Hadoop002
DataNode	位于各个节点（1-8）
NodeManager	位于各个节点（1-8）

前期准备工作

1.选购阿里云服务器

首先就是选购阿里云服务器，我选择的是Ubuntu 18.04系统

在选购时在阿里云的每台机器指定用户名、主机名、密码，一般用户名相同，密码相同。

主机名hostname为xxx1-xxx8比较好记。

找个空白的txt记录下所有节点的内网IP地址和外网ip地址

我选择的是Hadoop 2.6.0 和JDK1.8 事先把linux安装包下好

正式配置工作

(以下介绍的为每个节点都必备的工作)

2.启动远程连接

3.关闭防火墙

sudo ufw disable //关闭防火墙

4.创建操作用户、修改权限

useradd -m hadoop //创建Hadoop用户用于操作

 passwd hadoop //为创建的Hadoop用户指定密码

修改Hadoop的权限：将Hadoop加进sudoers列表

%hadoop ALL=(ALL:ALL) ALL

sudo vi /etc/passwd 修改Hadoop的显示情况（原来仅显示$ 没有bash）最后将/sh变为/bash

su hadoop切换到hadoop

5.修改主机IP配置

sudo vi /etc/hosts 建立主机名和ip地址的对应(在之后缀加) （填写阿里云私有ip地址）

这样就使用主机名可以ping其他机器了

 6.配置SSH

su hadoop//切换回Hadoop 用户

mkdir .ssh// hadoop目录下新建.ssh 文件夹