腾讯云服务器搭建hadoop-2.6.0-cdh5.6.0完全分布式环境

搭建思路：购买服务器，下载上传软件，用户环境配置，系统环境配置，hadoop配置，格式化HDFS，启动hadoop并验证

 

一、购买服务器

1、由于经济有限，购买的是腾讯云的学生机，且暂时只买了两台，第三台等基本配置完毕后作为结点扩展加进去

 

2、服务器基本配置——系统：CentOS-7.3    ， CPU：1核  ，  内存：2G  ， 硬盘：50G （内存太小是隐患）

 

二、下载上传软件

1、hadoop是用java实现的，所以需要java jdk,可在官网下载linux版本，此处百度云盘分享jdk1.8.0_40，地址https://pan.baidu.com/s/1Z1Z3Vkq5tgHRVuwqYLsaow     提取码：g9jb

2、hadoop-2.6.0-cdh5.6.0,下载地址https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0.tar.gz

3、前面下载的jdk和hadoop安装包都是利用secureCRT的Zmodem从windows 上传到linux服务器的/opt目录，

但对于jdk，各个服务器节点都要上传，对于hadoop-2.6.0-cdh5.6.0，只需上传到主服务器master，配置好后直接

scp到各节点对应目录

 

三、用户环境配置

1、修改主机名和用户名（为了用户使用方便）

（1）修改用户名（root用户执行，所有节点都需执行）

    添加用户hadoop,输入：

useradd hadoop

   设置hadoop用户密码，输入：

passwd hadoop

   此处统一设置为123456

（2）修改主机名（root用户执行，所有节点都需执行）

   输入：

hostname

    可查看本机的名称。

    修改主机名为master

   输入：

hostnamectl set-hostname master

    或者vi编辑/etc/hostname修改，

   输入：

vi /etc/hostname

    然后输入master，保存退出。    

其他节点的主机名修改为slave1，slave2....

注：主机名称更改后，需重启(reboot)后才会生效，本人踩过的坑                 

（3）修改ip和主机名映射（为了让节点之间可以直接通过简易的主机名互相访问）

   修改hosts文件（root用户执行，所有节点都需执行）

   执行：

vi /etc/hosts

在文件末尾加上：

     IP地址  主机名