大数据技术基础

一、大数据平台

1.大数据平台方案步骤：

  ①市场上有哪些大数据平台

  ②硬件、系统、业务增长等方面

  ③方案是否通过

通过后：按照一期目标投入

先虚拟环境部署联系，再实际部署

《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》

《Hadoop安装部署》，《实验：Hadoop集群搭建》

《Hadoop核心组件-HDFS》，《实验：HDFS查看元数据》《高可用HDFS》

十分的事情，完成十二分！！！比预期完成的更好

因为需求、业务需求，所以上大数据

2.数据库管理员 (DBA) 是指负责维护、保护和运营数据库，确保正确存储和检索数据的专业人员。

3.大数据：大量、多样、快速、价值密度低的数据

4.传统服务器架构：单机、主备、主从-----数据之间需要同步，例如：一人一本完整的书，得复印十本书

    现有服务器架构：分片式架构，将数据分散在多个节点，多个节点合成一个数据，例如：查找一本书中的页数，每10页分给一个人，合起来，就是页码数

二、主流大数据平台---Hadoop

1.Hadoop常用组件：

2.结构

主节点：领导，从节点：员工 

 

3.版本 

一版本无Yarn,只能通过MapReduce进行资源管理和数据处理，只有一个leader

二版本好处：以下三个好处 ---加入了yarn，有两个leader

 

4.运行模式 

三、集群-----不是某一个人的任务，而是一群人的任务

集群考虑：组件分配、硬件、虚拟化和节点配置等；