大数据集群平台集群部署【1】

最新推荐文章于 2024-05-20 12:44:11 发布

小伍_Five

最新推荐文章于 2024-05-20 12:44:11 发布

阅读量64

点赞数 3

文章标签：大数据

本文链接：https://blog.csdn.net/m0_74070923/article/details/133799419

版权

1. 大数据集群概述

文章目录

1. 大数据集群概述
1.1 大数据概述
1.2 虚拟机技术
1.3 centos7安装
1.4 修改服务器名称

1.1 大数据概述

精准预测：预测目标数据通过相关的数据分析做出预警或是实时动态优化。
分类：决策支持类：企业运营决策、证券投资决策、医疗行业临床诊疗支持以及电子政务等
风险预警类：疫情预警、健康管理疾病预警、公共安全预警、设备设施运营维护等
实时优化类：导航路线规划、实时计价。
大数据特征：（4V）
1.Volume(大量）:1PB = 1024TB 1EB=1024PB 1ZB=1024EB
2.Velocity(高速）
3.Variety(多样）
4.Value(低价值密度）
大数据发展趋势
数据分析
实时数据处理
基于云平台的数据分析
大数据技术：
1.数据采集：抽取，清洗，转换，集成
2.数据存取
3.存储架构：云存储，分布式存储HD FS
4.数据处理：关键指标的插补等
5.统计分析：分析数据特征
6.数据挖掘：分类、预测、数据可视化等
大数据集群：
由于大数据数据量特别大，一个服务器无法装下，就需要多个服务器协同存储，这些服务器加上一些控制软件就构成了大数据集群。
1.一般一个大数据集群需要多个Linux主机组成。
2.一个主备集群中只能有一个主节点，可以有一个备用节点和多个从节点。
3. 下图是一个集群拓扑图:展示了主机名和IP地址.
在这里插入图片描述

大数据软件系统中的进程：NameNode DataNode
1.NameNode
在这里插入图片描述

2.DataNode
在这里插入图片描述

软件安装目录
安装规范：
软件安装包放在/opt/soft下
软件安装在/user/XXX目录下（XXX:软件名称）

1.2 虚拟机技术

1.虚拟机
在这里插入图片描述

可以在一台计算机上创建多个虚拟机
原因：1.贵 2.重 3.自己笔记本电脑可以创建多个虚拟机
建立4台虚拟机搭建集群master masterbak slave1 slave2
工具：VMWARE
在这里插入图片描述

虚拟机中采用的操作系统
在这里插入图片描述

1.3 centos7安装

创建新的虚拟机----自定义-----下一步-----稍后安装-----Linux + Centos 7 64位----名称+位置放D盘—默认下一步-----8G内存---->1024MB------NAT-----控制器推荐-----创建V-----最大磁盘大小10G + 单个文件----下一步------自定义硬件----->删去打印机，声卡------完成
电脑但未装系统、
添加系统盘iso------开启虚拟机-----install
English-----installation destination----->done-----begin安装-----rootpassword---->123456------reboot
注：使用虚拟机，尽量在开机前，正常关闭虚拟机，否则下次开机可能会被锁定而不能开机
在这里插入图片描述