如何快速搭建hadoop大数据平台

前言

最近有朋友问起，怎么样快速搭建一个hadoop大数据平台，大家都知道，hadoop最核心的无非是HDFS和MapRedure, Java并发编程框架中的Fork/join 有点类似MapReudre，下面我们快速讲解一下如何搭建一个hadoop平台，

前期准备

搭建一个hadoop集群，首先我们按三台服务器的规模来计算。需要准备如下条件

• 三台Centos服务器
• hadoop压缩包 hadoop-3.1.1.tag.gz
• jdk安装包jdk-8u181-linux-x64.tar.gz，每台linux服务器必须安装

三台服务器可以是虚拟机环境。其中一台做master,另两台做slave分别为节点Node1,Node2。

安装jdk

在 master 中新建目录 /opt/bigdata/, 此目录下存放 hadoop 大数据所需要的环境包(jdk和hadoop).

• 第一步
  把下载好的jdk-8u181-linux-x64.tar.gz包和hadoop-3.0.0.tag.gz上传至master主机中,JDK是安装Hadoop的基础环境，所以需要优先安装好JDK环境(最好把包考到opt目录下下)
• 第二步
  解压 JDK 并配置环境变量

tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181/ bigdata/

• 第三步
  配置环境变量，vi /etc/profile, 如下图
  

• 第四步
  验证环境是否配置成功 java -version 如下图
  
  显示了如上图的版本号，则说明jdk已经安装成功了

服务器配置设置

1、把三台虚拟机服务器中的主机名分别更改为master、node1、node2。

命令如下

cd /etc/ // 进入配置目录
vi hostname // 编程hostname 配置文件

输入master,如下图，接着按ESC 输入:wq 退出并保存

在另外两个节点上进行相同的操作,输入node1,node2 分别如下图


2、开启主机的DHCP模式，自动获取ip地址。方法如下

cd /etc/sysconfig/network-scripts/ //进入网卡编辑目录 vi
ifcfg-enp16777736 //编辑网卡enp0s3的配置文件


3、最后重启网卡 service network restart

4、三台服务器的ip都记一下
命令为 ip a 或ifconfig

5、配置hosts
hosts文件是域名解析文件，在hosts文件内配置了 ip地址和主机名的对应关系，配置之后，通过主机名，电脑就可以定位到相应的ip地址 ,命令如下

vi /etc/hosts

在hosts配置文件内容输入如下内容：使用同样的方式更改node1和node2的网卡配置。

6、设置ssh 免密登录
ssh 一路回车

ssh-keygen