大数据框架-----3.10----2

Apache下的开源软件

开源是分布式计算平台

各种原研开发hadoop应用

两大核心

 HDFS

MapReduce分布式并行编辑框架

可以用离线仓库hive pig

• MapReduce：离线计算和批处理。实时计算不可。（基于磁盘计算，处理结束后要把数据写到分布式文件系统中去）

• Tez把很多的MapReduce作业进行分析优化，构建有向无环图，相对于一个流程

• Spak用Reduce函数去做数据处理，（基于内存计算，性能比Map好）

•  Hive数据仓库

• 用于企业数据分析，olap分析
• 把SQL语句转化成MapReduce作业执行
• Pig流数据处理 ，轻量级语言Pig Latin
• Oozie 作业流调度系统，管理
• Zookeeper：分布式协调服务，分布式锁，集群管理，HBASE有她的身影
• HBASE列族数据库，随机读写和实时应用
• Flume日志收集分析框架，淘宝
• Sqoop数据导入导出

• Ambari部署工具 hadoop快速部署工具，支持Apache Hadoop集群的供应管理和监控

 2.3.1Hadoop安装之前的预备知识

 伪分布式，同一个节点

2.4Hadoop集群的部署和使用

两大核心组件：HDFS和MapReduce

HDFS：

NameNode：SecondaryNameNode冷备份，需要恢复才能上

DataNode管家，要与各个数据集结进行连接

MapReduce

JobTracker负责对整个作业进行管理

TaskTracker，和DataNode可以运行在一个节点

集群需要多大：

 

可以安到云端