Hadoop2.0安装部署

最新推荐文章于 2022-06-21 22:13:48 发布

chenyx90

最新推荐文章于 2022-06-21 22:13:48 发布

阅读量488

点赞数

http://v.youku.com/v_show/id_XNzA5NTMxODU2.html?from=s1.8-1-1.2

视频第四十分钟(或44分钟)有对他部署的集群的六个节点的介绍

hadoop 1.0版本namenode只有一个，而hadoop2.0版本，namenode可以有多个。NameNode是“仓库管理员”，DataNode是“仓库”。

hadoop 1.0默认块的大小是64M，hadoop 2.0默认块的大小是128M

hadoop 1.0有HDFS和MapReduce，而2.0还多了个YARN即资源调度系统，可以运行但不仅仅运行MapReduce，还可以运行其他的计算框架，如：storm,spark。

YARN产生的背景：

1.直接源于MRv1在这几个方面的无能：

扩展受限

单点故障

难以支持MR之外的计算

2.多计算框架各自为战，数据共享困难

MR离线计算框架

Storm实时计算框架

Spark内存计算框架

hadoop部署方式：

本地模式

伪分布式模式

集群模式

分布式模式安装步骤：

关闭防火墙

修改IP

修改hostname

设置ssh自动登录

安装jdk

安装hadoop

将配置好的hadoop拷贝到其他节点

hadoop 2.0一般有两个namenode：一个namenode处于active状态，另一个处于standby状态。namenode是HDFS的老大，datanode是HDFS的小弟，

ResourceManager是YARN的老大，NodeManager是YARN的小弟。

JournalNode可以实现数据的实时同步。Hadoop 2.0还要安装zookeeper，QuorumPeerMain就是ZK的节点，可以进行master选举

zookeeper:为了保证它的安全，一般安装奇数个：如3,5,7等等。根据自己集群里边电脑的数量进行设置。

自己部署Hadoop的话，尽量不要使用root用户，因为权限太大，很容易产生一些问题。

这个视频中

默认已经安装了jdk

先安装zookeeper

上传了压缩文件zookeeper-3.4.5.tar.gz. 用命令tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast04/ 是把压缩文件zookeeper-3.4.5.tar.gz解压到了根目录下边的itcast04文件夹里边。zookeeper貌似只需要修改一个配置文件即可：进入解压缩文件里边的conf里边，用mv zoo_sample.cfg zoo.cfg把zoo_sample.cfg重命名为zoo.cfg。然后vim zoo.cfg,里边的dataDir=/tmp/zookeeper即是ZK临时数据的默认存储路径，而tmp目录不安全，电脑重启的话，数据就会丢失。我们可以把它修改为dataDir=/slavex/zookeeper-3.4.5/data下边(不存在的文件夹，我们可以提前手动创建),在该配置文件的最后加上：

server.1=itcast04:2888:3888

server.2=itcast05:2888:3888

server.3=itcast06:2888:3888

有几个ZK就加几个，其中的itcastxx是ZK安装所对应的几个主机的名字，也可以写成相应的在/etc/hosts里边配好的ip。端口2888是节点之间进行通信的端口，3888是master选举端口，即若老大死掉了之后，他们之间再进

行选举老大的端口.

完了在/itcastxxx/zookeeper-3.4.5下边创建data文件夹，在里边创建文件myid，可以用vim myid,输入内容1(对应前边的server.1),最后可以用命令scp -r /itcastxx/ itcastxx:/ (-r是递归拷贝，拷贝到slavex的根目录下边)，依次拷贝过去之后，把里边的myid都改为相应的数字并保存。安装好ZK之后，进入bin目录,用./zkServer.sh相关的命令执行该脚本(可以./zkServer.sh回车看到对应的命令有哪些）用./zkServer.sh start，试试能否启动得起来。然后用jps命令查看，可以看到里边多了QuorumPeerMain,即是ZK在该节点下启动成功。现在可以用 ./zkServer.sh status查看他们的状态，会发现有一个leader和其他的follower(用kill -9 2434可以杀死老大？杀死后可以查看其他俩，会有一个变成老大，杀死后可以继续用启动命令启动起来该ZK)

安装hadoop

上传了安装文件hadoop-2.2.0.tar.gz，用命令tar -zxvf hadoop-2.2.0.tar.gz -C /itcast01/ 解压缩该文件到itcast01下边(提前创建itcast01文件夹)。这个教学的安装中为了统一管理，全部都放在了根目录下边，也可以放在user下边。然后进入解压缩文件的etc/hadoop/,所有的配置文件都在这个里边。需要修改5个配置文件：

vim hadoop-env.sh:用set nu命令显示行号，修改第27行，即导进JAVA_HOME,用echo $JAVA_HOME得到它的路径，然后把得到的地址导进到27行，即export JAVA_HOME=/usr/local/jdk1.6.0_45之类的

vim core-site.xml:加上

fs.defaultFS

hdfs://ns1

hadoop.tmp.dir

/master(slavex)/hadoop-2.2.0/tmp

ha.zookeeper.quorum

slavex:2181,slavex:2181,slavex:2181

(第二个的tmp其实不是临时数据，是很重要的数据，存储在hdfs上的数据都在这个里边；第三个对应的是ZK，多个之间用逗号分隔，是英文输入下的逗号)

vim hdfs-site.xml:

太多敲不动了，具体看

http://v.youku.com/v_show/id_XNzA5NTMxODU2.html?from=s1.8-1-1.2的第67分钟左右