大数据原理-Hadoop

概述

项目结构

核心介绍

Hadoop平台是一个开源分布式计算平台，屏蔽了大数据处理底层的细节
由Java开发，具有很好的跨平台；可以云计算使用

两大核心HDFS+MapReduce：集群分布式处理

应用架构：数据分析、数据实时查询、数据挖掘
Hadoop利用分布式文件存储作为基础存储数据，用MR（MapReduce）为底层使用Hive、Pig离线实现数据分析；Hase为基础用Solr、Redis进行实时查询；Mahout的BI分析数据挖掘等等

项目结构：

1.0架构：
HDFS负责分布式存储数据
YARN框架进行资源调度管理
MR负责离线计算（批量处理数据）基于磁盘
Tez负责把大量MR作业分析优化构建有向无环图执行顺序提高效率
Spark基于内存计算实时计算
Hive实现数据仓库—企业决策分析—支持SQL语句—转化为MR作业执行
Pig提高Pig Latin 类似SQL 轻量级数据流计算
Oozie作业调度系统
Zookeeper提供分布式协调一致性服务（分布式锁、集群管理)
HBase随机读写实时应用数据库nosql
Flume日志相关收集工具
Sqoop数据导入导出从关系型数据库获取数据
Ambari安装部署工具

2.0架构：—

HDFS:

1.0中只有一个NameNode和多个DataNode
NameNode存储具体数据存放节点的信息
冷备份：SecondaryNameNode需要一个恢复的过程
热备份：出现故障立即恢复

MapReduce：

以作业的形式完成
包含一个JobTracker总管家和多个TaskTracker分布在集群