初识Hadoop

• hadoop概述

• Hadoop核心组件

• hadoop优势

• hadoop发展史

• hadoop生态系统

• hadoop发行版本的选择

• hadoop概述之hadoop名字的由来
  Doug Cutting(hadoop项目作者还是给一个棕黄色的大象样子的填充玩具的命名)
  
  reliable,scalable,distributed computing
  单机存储
  单机计算
  分布式存储+分布式计算
  hadoop是一个分布式的系统基础架构（用户可以在不了解分布式底层细节的情况下操作）
  分布式存储（一个文件被拆分成很多个块，并且以副本的方式存储在各个节点中）和计算
  
  HDFS：实现将文件分布式存储在服务器上
  YARN：作业调度，资源管理
  MapReduce：实现在很多机器上分布式计算框架

• hadoop核心组件之分布式文件系统HDFS

1）源自Google的GFS论文
2）HDFS是GFS的克隆版
3）HDFS特点：扩展性&容错性&海量数据存储

工作机制：
文件:test.log 200M
块（block）：默认的blocksize是128M，2个块=1个128M + 1个72M
node1: blk1 blk2
node2:blk2
node3:blk1 blk2
node4:
node5:blk1
1）文件切分成指定大小的文件块并以多副本存储在多个机器上
2）数据切分、多副本、容错等操作对用户是透明的

Namenode(Filename,numReplicas,block-ids,…)
/users/sameerp/data/part-0,r:2{1,3}
/users/sameerp/data/part-1,r:3{2,4,5}
r:2代表part-0文件有两个副本
r:3代表part-1文件有三个副本

• hadoop核心组件之分布式计算框架MapReduce

1）源自于Google的MapReduce论文
2）MapReduce是Google MapReduce的克隆版
3）MapReduce特点;扩展性&容错性&海量数据离线处理

• hadoop核心组件之资源调度系统YARN
  YARN：负责整个集群资源的管理和调度
  特带：扩展性&容错性&多框架（hive、flink）资源统一调度
  
• hadoop优势
  高可靠性：
  数据存储：数据块多副本
  数据计算：重新调度作业
  扩展性：
  存储/计算资源不够：可以横向的线性扩展机器
  一个集群中可以包含数以千计的节点
  其他：
  存储在廉价机器上，降低成本
  成熟的生态圈
• hadooo发展史

https://www.infoq.cn/article/hadoop-ten-years-interpretation-and-development-forecast/

• hadoop生态圈

侠义hadoop：是一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce）、资源调度（YARN）的平台

广义的hadoop：指的是hadoop生态系统，hadoop生态系统是一个很庞大的概念，hadoop是其中很重要最基础的一根部分；生态系统中每一个子系统只解决某一个特定的问题域，不搞统一型的一个全能系统，而是小而精的多个系统

开源、社区活跃
囊括了大数据处理的方方面面
成熟的生态圈

• hadoop常用的发型版本

Apache纯开源
不同版本/不同框架之间整合 jar冲突

CDH：https://www.clouder.com/
cm(cloudera manager)通过页面一键安装各种框架、升级
cm不开源，与社区版本有冲突

Hortonworks:HDP
原装hadoop、纯开源、支持tez
缺点：企业级安全不开源