Linux虚拟机（Centos）安装及配置分布式Hadoop安装部署使用

目录

​​​​​​​

​​​​​​​​​​​​​​一、虚拟机节点的搭建与配置

1.1主节点的搭建和配置

1.1.1准备工作

1.1.2主节点虚拟机基本配置

1.1.3安装CentOS6.5虚拟机

1.1.4主节点虚拟机网络配置

2.1.5安装Java和Hadoop

1.2从节点的搭建与配置

1.2.1准备工作

1.2.2从节点网络配置

二、Hadoop主、从节点的配置

2.1修改hosts文件，将名称和IP建立联系(图9)

2.2设置三个节点互相ssh免密登陆

2.3主节点参数设置

2.3.1增加从节点，修改从节点列表（图11）

2.3.2修改JAVA_HOME位置，更新Hadoop环境设置

2.3.3修改Hadoop核心配置文件

2.3.4修改Hdfs配置文件

2.3.5修改Yarn配置文件

2.3.6修改 mapreduce配置文件

2.4将主节点设置同步到从节点

2.5格式化namenode，删除缓存

2.7启动与关闭命令

2.8访问Hdfs页面验证是否安装成功

三、Hadoop的使用

3.1Hadoop计算PI值

3.2Hadoop单词计数

3.2.1建立待计数的文本

3.2.2将文章上传到Hdfs（图22，23）

3.2.3运行单词计数

3.2.4查看结果

---

​​​​​​​

• ​​​​​​​​​​​​​​一、虚拟机节点的搭建与配置

1.1主节点的搭建和配置

1.1.1准备工作

安装VMware软件，下载CentOS6.5镜像文件，Hadoop2.7包，Java1.8包。

注：由于hadoop分布式运行需要同时运行三个虚拟机（一个主节点，两个从节点），需要对电脑的虚拟内存重新设置或使用VMware16及以上版本，否则在开启第三个虚拟机时，会因为虚拟内存不足蓝屏。经过尝试，为电脑物理内存两倍为佳。

1.1.2主节点虚拟机基本配置

本组采用的主节点虚拟机配置如下(图1)：

图1 基本配置

1.1.3安装CentOS6.5虚拟机

按上述配置建立虚拟机和虚拟硬盘后，将准备好的镜像挂载，通过镜像文件安装CentOS6.5。

 

图2 挂载镜像

注：在系统安装完成后及时关闭CD硬件的连接，避免重启后仍启动镜像。

1.1.4主节点虚拟机网络配置

1、在虚拟网络编辑器中查看网关信息（图3、4）。

 

图3

 

图4 虚拟网络编辑器

2、设置虚拟网卡对应IP和子网掩码（图5）。

  

图5

3、对虚拟机内网络参数进行修改（图6、7）

nano /etc/sysconfig/network-scripts/ifcfg-eth0

  

图6

DEVICE=eth0

HWADDR=00:0C:29:31:20:7F

TYPE=Ethernet

UUID=722e3a7a-5279-4bca-ab17-c05b973677e7

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

IPADDR=192.168.80.40

NETMASK=255.255.255.0

GATEWAY=192.168.80.2

DNS1=192.168.80.2

##修改IP和网关，并设置为静态

此时可使用xshell和xftp链接虚拟机进行更方便操作。

nano /etc/sysconfig/network

图7 设置主机名

3、关闭防火墙

终端中运行以下命令：

service iptables stop   关闭防火墙

chkconfig iptables off  关闭防火墙开机自启动

2.1.5安装Java和Hadoop

将Java包和Hadoop包分别使用 Xftp 传入master中，解压到合适的目录，将二者解压，并在 /etc/profile中添加环境变量。

nano /etc/profile

本组使用的路径和配置如下

##JAVA_HOME

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

##MAIL_OFF

unset MAILCHECK

##HADOOP_HOME

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export JAVA_LIBRARY_PATH=/usr/local/lib/hadoop-native

1.2从节点的搭建与配置

1.2.1准备工作