(Hadoop操作与应用)基础搭建

组件

1. hdfs是专门放数据的地方，
2. yarn是资源管理，
3. mapduce是计算用的，
4. zookeeper是专门协调打架用的
5. flume用来采集数据，
6. sqoop是数据库之间的相互转换工具：mysql
7. hive 数据仓库
8. Hbase列式数据库

大数据概述

1. 特征：（4v）大量（Volume），多样（Varity），高速（Velocity），价值（Value）。
   
2. Hadoop前世今生
   
3. Hadoop优势：
   1. 扩容能力强
   2. 成本低
   3. 高效率
   4. 可靠性
   5. 高容错率
4. Hadoop生态
   
   1. HDFS：分布式文件系统，是分布式计算中数据存储管理的基础。专门存放数据。
   2. MapReduce：计算模型，用于大规模数据集的 并行运算
   3. Yarn：资源管理器，为上层应用提供统一的资源管理和调度
   4. Sqoop：开源数据导入导出工具，用于Hadoop与传统数据库的数据交换
   5. Mahout：帮助开发人员方便快捷的创建智能应用程序
   6. HBase：是Google Bigtable的克隆版，是一个针对结构化数据的可升缩性、高可靠性、高性能、分布式和面向列的动态模式数据库
   7. Zookeeper：分布式的，分布式应用程序协调服务。解决单点故障。
   8. Hive：基于Hadoop的一个分布式数据仓库工具。
   9. Flume：日志采集系统，采集数据