hadoop集群的搭建
前言
提示:这里给大家介绍hadoop:
Hadoop是一个开源的分布式计算框架,由Apache基金会开发和维护。它起源于Google的MapReduce和Google File System(GFS)的研究论文,并由Doug Cutting和Mike Cafarella于2005年创建
提示:以下是本篇文章正文内容,下面案例可供参考
一、Hadoop的作用
Hadoop的主要作用是处理和存储大规模数据集。它具有分布式存储、分布式处理、容错性、扩展性、多样化的工具和应用程序,Hadoop的发展使得大数据处理变得更加可行和实用,为企业和组织处理海量数据提供了一种高效和经济的方式。
二、Hadoop集群搭建步骤
1.安装虚拟机
虚拟机官网:https://www.vmware.com/cn/products/workstation-pro.html
安装后的界面:
跟随引导步骤一步步来
镜像文件下载地址:https://mirrors.aliyun.com/centos-vault/
这里需要安装镜像文件光盘
定义自己的用户名和密码:
输入虚拟机名字,文件保存位置默认,也可以点击【浏览】修改。
配置虚拟机处理器。这里说明一下:虚拟机的处理器核心数不能超过主机的处理器核心数,否则可能会出问题
分配内存,综合考虑主机的配置来划分内存
选择虚拟机网络类型。这里选择NAT模式,方便设置固定IP,即使频繁切换网络也不会影响到虚拟机的网络