Hadoop学习1-MacBook下Hadoop-2.9的配置

MacBook下Hadoop-2.9的配置

由于研究生课程需要，今天下午搭建了本地Hadoop环境。我用的是Hadoop-2.9版本，不打算一上来就3.x（其实是因为大部分教程都是2.x, 呵呵）。
本人MacBook Pro配置是 8G内存，256GSSD，InterCore I5处理器。跑起来3个CentOS虚拟机+IDEA+网易云+有道云笔记+QQ+微信+20个Chrome网页不成问题，大概总占7G的内存，虽然有一点点影响系统速度，可以接受。

1. 安装VMware Fusion

由于是本地的完全分布式环境搭建，我打算在VMware Fusion中安装3个CentOS7虚拟机，其中一个即是namenode也是datanode，另外两台datanode，这样就做到1个namenode+3个datanode。

VMware Fusion 官方下载地址

2.下载CentOS镜像

在官网下载 DVD ISO 就好了，标配。

CentOS官方下载地址

3.下载Hadoop-2.9.1

下载Linux版本的Hadoop。

Hadoop下载地址

4.下载JDK1.8

jdk这里就不用说了，去官网下载Linux版本的jdk1.8。

5.配置Hadoop环境

我们首先配置一个节点，namenode节点，然后直接把配置好的hadoop打包用ssh发送给其他两个节点就好了。

• 修改主机名修改HOSTS文件

为了方便区分，我们用 hostname xxx 命令重设主机名，我三台虚拟机分别名为namenode、datanode1、datanode2。

• 修改Hosts文件

sudo vi /etc/hosts

加上三台虚拟机，三个虚拟机做同样的操作，注意ip地址换成自己虚拟机的，不知道可以用ifconfig命令查看。

192.168.246.128    namenode
192.168.246.129    datanode1
192.168.246.130    datanode2

• JDK配置

Linux下JDK的配置我就不用说了，首先配置好JDK，环境变量JAVA_HOME配置好。