大数据 hdfs 详解

1、传统数据与大数据的对比

2、大数据服务器安装规范

	系统硬盘
		两块硬盘做一个RAID1
		引导分区  200M
		交换分区  可以不设置或设置的很小。因为在大数据中需要将其关闭
		根分区		/（所有的空间）
	数据硬盘
		多个硬盘，每个硬盘独立挂载，有多少个硬盘，挂载多少个目录
		数据硬盘优先不做RAID，必须做时，做RAID0

做RAID:	优点：数据的读写效率稍高，
缺点：不支持热插拔。一个硬盘损坏，整个服务器需要全部关机再能处理该硬盘。

不做RAID:	优点：支持热插拔。硬盘损坏即把即插。不用关机。
缺点：数据的读写效率稍低。

3、传统数据与大数据处理方式对比

4、大数据技术快的原因

1、分布式存储
2、分布式并行计算
3、移动程序到数据端
4、更前卫、更先进的实现思路
5、更细分的业务场景
6、更先进的硬件技术+更先进的软件技术

5、Hadoop内部组成

HDFS:		海量数据的存储
MapReduce:	海量数据的离线计算
Yarn:		集群资源调度

6、HDFS全称

Hadoop Distribute File System 即 Hadoop分布式文件系统
主要作用：即存储海量数据
为什么能存储海量数据？？
因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展

7、HDFS组成部分

	管理者-Master		NameNode  集群中有1-2个，用于管理集群中的工作者
	工作者-Slave			DataNode	集群中有多个	用于存储计算数据
	辅助管理            SecondaryNameNode   集群中有0-1  只负责辅助NameNode管理工作

8、HDFS存储数据的方式

	以数据块的方式存储数据。默认一个数据块128M，该数值可以修改。
	注意：这里的128仅仅是切分数据的阈值。
	一个大的数据被切分成多个小的128M的数据块，分别存储在集群多个节点的不同位置。
数据副本机制
	数据副本默认是3份。
	一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）

9、数据副本存放机制