BD01_Hadoop简介及搭建

一、简史

1、Hadoop主要为了解决两个问题

  • 海量数据存储   HDFS 
  • 海量数据运算   MapReduce

2、hadoop的起源

起源于一个开源的项目nutch,

Hadoop源于谷歌的三篇论文:

  • GFS(google  fileSystem),
  • BigTable(key,value对的非关系型数据库)
  • MapReduce(分布式计算框架)   

狭义的Hadoop:

  • HDFS+MapReduce

广义的Hadoop:

  • 指代一个大数据软件的生态圈,包括各种周边的其他框架(Hive,HBase,Spark....)

3、三大主流公司

hadoop的发行版本:主要从0.x到1.x到2.x这三个主流的版本

  • apache开源版本:commiter 
    • 优点:版本更新迭代比较快,所有的软件都有对应的迭代
    • 缺点:版本的升级,兼容,维护等都比较麻烦
    • 实际生产环境当中,尽量不要使用apache的版本
  •  免费开源版本hortonworks:软件的安装,升级等都做了
  • 服务收费版本cloudera:软件有收费版,也有免费版
  • MapR:大数据软件厂商

4、hadoop的架构模型

 

1.x的版本架构模型介绍

文件系统核心模块:

  • NameNode:集群当中的主节点,主要用于管理集群当中的各种数据(主要维护元数据信息,元数据信息就是表述数据的数据)
  • secondaryNameNode:主要能用于hadoop当中元数据信息的辅助管理
  • DataNode:集群当中的从节点,主要用于存储集群当中的各种数据

数据计算核心模块:

  • JobTracker:接收用户的计算请求任务,并分配任务给从节点
  • TaskTracker:负责执行主节点JobTracker分配的任务

1.x当中,主节点 namenode jobtracker都存在单节点故障问题

2.x的版本架构模型介绍

第一种:NameNode与ResourceManager单节点架构模型

 

第二种:NameNode单节点与ResourceManager高可用架构模型

第三种:NameNode高可用与ResourceManager单节点架构模型

第四种:NameNode与ResourceManager高可用架构模型

 

文件系统核心模块:

  • NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,一般都是使用两个,实现HA高可用
  • DataNode:从节点,用于数据的存储
  • secondaryNameNode:主要负责瞄着active什么时候死了,赶紧上位 两个namenode组成主备的架构
  • 如果namenode高可用:就没有secondaryNamenode了,取而代之的是journalNode:主要用于同步元数据信息,保证两个namenode的元数据信息是一致的
  • nameNode active状态:主要负责用户的写请求
  • namenode高可用的自动切换,主要是通过两个守护进程zkfc来实现的

数据计算核心模块:

  • ResourceManager:Yarn平台的主节点,主要用于接收各种任务,通过两个,构建成高可用
  • NodeManager:Yarn平台的从节点,主要用于处理ResourceManager分配的任务

 

二 、拓展

1、FastLeaderElection是zookeeper默认提供的选举算法

选举流程

目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选择举过程如下:

  • 1. 服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking。
  • 2. 服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但此时投票数没有大于半数,所以两个服务器的状态依然是LOOKING。
  • 3. 服务器3启动,给自己投票,同时与之前启动的服务器1,2交换信息,由于服务器3的编号最大所以服务器3胜出,此时投票数正好大于半数,所以服务器3成为leader,服务器1,2成为follower。
  • 4. 服务器4启动,给自己投票,同时与之前启动的服务器1,2,3交换信息,尽管服务器4的编号大,但之前服务器3已经胜出,所以服务器4只能成为follower。
  • 5. 服务器5启动,后面的逻辑同服务器4成为follower。

 

2、zookeeper四种类型的znode

1、PERSISTENT-持久化目录节点

客户端与zookeeper断开连接后,该节点依旧存在

2、PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点

客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

3、EPHEMERAL-临时目录节点

客户端与zookeeper断开连接后,该节点被删除

4、EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点

客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

3、Zookeeper对节点的watch监听通知是永久的吗?

不是。官方声明:一个Watch事件是一个一次性的触发器,当被设置了Watch的数据发生了改变的时候,则服务器将这个改变发送给设置了Watch的客户端,以便通知它们。

为什么不是永久的,举个例子,如果服务端变动频繁,而监听的客户端很多情况下,每次变动都要通知到所有的客户端,这太消耗性能了。

 

4、集群如果有3台机器,挂掉一台集群还能工作吗?挂掉两台呢

过半存活即可用。

 

5、集群支持动态添加机器吗

其实就是水平扩容了,Zookeeper在这方面不太好。

两种方式:

全部重启:关闭所有Zookeeper服务,修改配置之后启动。不影响之前客户端的会话。

逐个重启:在重启的过程中,需要保证一台机器重启完成后,再进行下一台机器的重启。这样就整个集群中每个时刻只有一台机器不能正常工作,而集群中有过半的机器是正常工作的,那么整个集群对外就是可用的。所以这个时候不会出现错误,也不会出现停止服务,整个扩容过程对用户是无感知的。

 

三、环境搭建

apache软件下载地址:

http://archive.apache.org/dist/

cdh所有软件下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

分布式环境搭建(适用于工作当中正式环境搭建)

使用完全分布式,实现namenode高可用,ResourceManager的高可用

 

192.168.1.100

192.168.1.110

192.168.1.120

zookeeper

zk

zk

zk

HDFS

JournalNode

JournalNode

JournalNode

NameNode

NameNode

 

ZKFC

ZKFC

 

DataNode

DataNode

DataNode

YARN

 

ResourceManager

ResourceManager

NodeManager

NodeManager

NodeManager

MapReduce

 

 

JobHistoryServer

hadoop安装包结构

hadoop-2.7.5/bin:一些shell脚本,供我们使用
hadoop-2.7.5/sbin:一些shell脚本,供我们使用
hadoop-2.7.5/etc/hadoop:所有的配置文件的路径
hadoop-2.7.5/lib/native:本地的C程序库

检测hadoop的本地程序库

bin/hadoop checknative

hadoop: true 本地库,支持我们使用C程序来访问hadoop
zlib: true 压缩库
snappy: false 压缩库 谷歌出品的一种压缩算法,谷歌出品,必属精品
lz4: true 压缩库
bzip2: false 压缩库

hadoop 六个核心配置文件的作用:

core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://
hadoop-env.sh:主要配置我们的java路径
hdfs-site.xml:主要定义配置我们的hdfs的相关配置
mapred-site.xml 主要定义我们的mapreduce相关的一些配置
slaves:控制我们的从节点在哪里 datanode nodemanager在哪些机器上
yarn-site.xml:配置我们的resourcemanager资源调度

 

安装包解压

修改配置文件

启动集群

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据_苡~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值