2021-04-23

Hadoop搭建集群（学习笔记一）

1.创建虚拟机
1.01打开VMware，选择创建新的虚拟机
1.02
1.03 选择虚拟机兼容版本
如果选择典型配置，向导会使用 Workstation Pro 首选项中配置的默认硬件兼容性设置。默认情况下，默认硬件兼容性设置为已安装的 Workstation Pro 版本。

如果选择自定义配置，“新建虚拟机”向导会提示您为虚拟机选择硬件兼容性设置。在选择硬件兼容性设置时，系统会显示与您的选择相兼容的 VMware 产品及版本的列表，同时也会列出您的选择所具有的限制以及不可用的功能。如果您的选择有对应的功能兼容性复选框，您可以选中该复选框来查看附加限制的列表。

1.04 如果没有Linux系统Centos 7镜像镜像就先选稍后安装操作系统

1.05选择Linux（L），因为Centos 7镜像是Linux镜像

1.06选择虚拟机名字和安装路径

1.07总处理器核心数 = 处理器数量 * 每个处理器的核心数(我选择的是默认)

1.08 按着自己电脑的内存来分配内存，我选择的是1.5个G

1.09
1.10选择推荐

1.11 选择推荐

1.12

1.13

1.14

1.15 选择完成
1.16 在虚拟机安装镜像


1.17打开虚拟机
1.18设置语言

1.19完成所需配置（需求不同，配置不同）

安装源：点击安装源，点击测检，若显示如图，选择完成！软件选择服务：根据所需选择功能

安装位置

网络和主机名：开启网络

1.20点击开始安装并设置root密码

1.21完成配置后点击重启
1.22输入用户名（root）和密码

安装成功咯！！！！！！！

2.复制虚拟机
2.1右击刚刚创建的虚拟机，选择管理，再选择克隆
2.2重复步骤2.1

3.认识Hadoop
3.1简介
Hadoop是一个由apache基金会所开发的分布式系统基础架构
3.2Google引爆大数据时代的三篇论文
（1）GFS（Google File System）
Google于2003年发布,这是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。
（2）MapReduce
谷歌于2004年发布MapReduce论文，描述了大数据的分布式计算方式，主要思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理，然后将结果合并从而完成大数据处理。
（3）BigTable
谷歌于2006年发布，启发了无数的NoSQL数据库。Gigtable分布式数据存储系统是Google为其内部海量的结构化数据开发的云存储技术，是Google的第三项云计算关键技术，是所有云时代分布式存储系统的开发蓝本。
Bigable的设计是为了能可靠地处理PB级的海量数据，使其能够部署在千台机器上，Bigtable具有高可靠性，高性能、可伸缩等特性，借鉴了并行数据库和内存数据库的一些特性。不支持完整的关系数据模型，而是为用户提供了简单的数据模型，使客户可以动态控制数据的分布和格式。