数据清洗和预处理期末总结

一.Hadoop基础
1.什么是Hadoop
Hadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。

2.Hadoop的优缺点
优点：

高可靠性：Hadoop底层维护多个数据副本，所以即使某个计算元素或者存储出现故障，也不会出现数据的丢失。

高扩展性：在集群间分配任务数据，方便扩展数以千计的节点。

高效性：并行工作。

高容错性：能够自动将失败的任务自动分配。

3.Hadoop运行模式
本地模式：单机运行
伪分布模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。

完全分布模式：多台服务器组成分布式的环境。

4.辨析Hadoop和Hadoop生态系统的概念
Hadoop是指Hadoop框架本身；Hadoop生态系统是指Hadoop及能够保证Hadoop正常运行的其他框架。如Zookeeper,Flume,Hive等。

5.Hadoop生态圈的组件
1）Zookeeper:它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护，名字服务，分布式同步等。

2）HBase:它是一个分布式的，面向列的开源数据库。它是一个适合非结构化数据存储的数据库。

3）Hive:它是一个基于Hadoop的数据仓库工具，提供简单的SQL语句，可以将SQL语句转换为MapReduce任务进行运行。

4）Flume:它是一个高可用的，高可靠的，分布式的海量日志采集，聚合和传输的系统。

5）Sqoop:主要用于Hadoop，Hive和MySQL之间数据的传递

6）Spark:开源大数据内存计算框架

6.Hadoop集群正常工作中需要启动的进程及其作用：

NameNode:存储文件的元数据（如文件名，文件目录结构，文件属性）

DataNode:在本地文件系统存储文件块数据

SecondaryNameNode:每隔一段时间对NameNode元数据备份

NodeManager:执行任务

ResourceManager:负责调度DataNode上的工作

二.HDFS
1.HDFS定义
它是一个文件系统，用于存储文件，通过目录树来定位文件；它是分布式的，有很多服务器联合起来实现其功能；适合一次写入，多次读出的场景。