Hadoop集群搭建(三个虚拟节点)详解

最新推荐文章于 2024-08-04 13:23:56 发布

电科老码农

最新推荐文章于 2024-08-04 13:23:56 发布

阅读量5.7k

点赞数 2

文章标签：大数据 hadoop环境搭建 linux

本文链接：https://blog.csdn.net/qq_41022965/article/details/90809583

版权

本文档详细介绍了如何在Ubuntu 16.04上使用VMware搭建一个包含node-master、node1和node2的Hadoop 2.9.2集群。从Linux版本选择、虚拟机安装，到大数据集群环境准备，再到Hadoop的安装配置、启动测试，最后通过MapReduce的wordcount实例验证集群搭建成功。

摘要由CSDN通过智能技术生成

Linux上搭建Hadoop集群

此实验搭建3个虚拟节点，一个node-master,一个node1，一个node2

此实验搭建3个虚拟节点，一个node-master,一个node1，一个node2

一. Linux版本选择

Linux操作系统的发行版本可以大体分为两类：

Redhat 应该称为Redhat系列，包括RHEL(Redhat Enterprise Linux，也就是所谓的Redhat Advance Server，收费版本)、Fedora Core(由原来的Redhat桌面版本发展而来，免费版本)、CentOS(RHEL的社区克隆版本，免费)

Redhat应该说是在国内使用人群最多的Linux版本，甚至有人将Redhat等同于Linux操作系统，而有些老鸟更是只用这一个版本的Linux操作系统。所以这个版本的特点就是使用人群数量大，资料非常多，言下之意就是如果你有什么不明白的地方，很容易找到人来问，而且网上的一般Linux教程都是以Redhat为例来讲解的。

Redhat系列的包管理方式采用的是基于RPM包的YUM包管理方式，包分发方式是编译好的二进制文件。稳定方面RHEL和CentOS的稳定非常好，适合于服务器使用，但是Fedora Core的稳定较差，最好只用于桌面应用。
Debian，或者称Debian系列，包括Debian和Ubuntu等。Debian是社区类Linux操作系统的典范，是迄今为止最遵循GNU规范的Linux系统。Debian最早由Ian Murdock于1993年创建，分为三个版本分支（branch）： stable, testing 和 unstable。

其中，unstable为最新的测试版本，其中包括最新的软件包，但是也有相对较多的bug，适合桌面用户。testing的版本都经过unstable中的测试，相对较为稳定，也支持了不少新技术（比如SMP等）。而stable一般只用于服务器，上面的软件包大部分都比较过时，但是稳定和安全都非常的高。

Debian 最具特色的是apt-get / dpkg包管理方式，其实Redhat的YUM也是在模仿Debian的APT方式，但在二进制文件发行方式中，APT应该是最好的了。Debian的资料也很丰富，有很多支持的社区，有问题求教也有地方可去

Ubuntu严格来说不能算一个独立的发行版本，Ubuntu是基于Debian的unstable版本加强而来，可以这么说，Ubuntu就是一个拥有Debian所有的优点，以及自己所加强的优点的近乎完美的 Linux桌面系统。

本次实验选择Ubuntu Desktop 16.04。