Hadoop2安装

最新推荐文章于 2023-02-04 15:13:29 发布

mengao1234

最新推荐文章于 2023-02-04 15:13:29 发布

阅读量461

点赞数

分类专栏：大数据文章标签： hadoop spark hdfs cloudera zookeeper

本文链接：https://blog.csdn.net/mengo1234/article/details/111246799

版权

大数据专栏收录该内容

2 篇文章 0 订阅

订阅专栏

2.1 安装ClouderaManager

1 环境准备

1.1 组网图

安装的hadoop版本为CDH5，对应的HDFS版本为2.2，mapreduce为yarn，HBase版本为0.95，oozie版本为4.0，安装工具为ClouderaManager5。

说明：管理节点主要功能有集群的操作维护、性能监控、告警。

1.2 操作系统

操作系统使用CentOS Linux，版本6.4，如果使用6.4之前的版本，需要查看是否启用大页面交换，如果启用需要关闭，否则会导致严重的系统性能。查看方法：cat /sys/kernel/mm/redhat_transparent_hugepage/defrag，cat /sys/kernel/mm/redhat_transparent_hugepage/enabled，如果never未被选中（是否在方括号里面），则需关闭，命令：echo never> /sys/kernel/mm/redhat_transparent_hugepage/defrag，echo never>/sys/kernel/mm/redhat_transparent_hugepage/enabled，并将这两条命令添加到/etc/rc.local。

1.3 网络

修改集群里所有机器的/etc/hosts文件，根据下表配置集群里机器的hostname，如果使用虚拟机安装，管理节点hostname配置为bogon

IP	hostname	说明
主节点IP	master1	主节点
备节点IP	master2	备节点
管理节点IP	manager	管理节点/计算节点
计算节点IP	slave1	计算节点
计算节点IP	slave2	计算节点

1.4 磁盘

为便于维护，数据磁盘统一挂载到目录/mnt/data+磁盘编号，例/mnt/data1。

挂载数据盘时使用ext4文件系统格式化磁盘，添加noatime挂载选项，例如：mount –t ext4 –o noatime /dev/sdb /mnt/data1，然后修改/etc/fstab文件，使系统启动时可以自动挂载磁盘，例如：/dev/sdb /mnt/data1 ext4 defaults,noatime 0 0。

1.5 软件仓库

1.5.1 软件版本

安装的hadoop版本为CDH5，对应的HDFS版本为2.2，mapreduce为yarn，HBase版本为0.95，oozie版本为4.0，安装工具为ClouderaManager5

1.5.2 搭建版本下载服务

如果已经有安装仓库，请直接执行第五步，搭建安装仓库的方法如下：

启动版本服务器上的httpd服务，service httpd start，然后开机自启动chkconfig httpd on
在/var/www/html/目录下新建目录：

cd /var/www/html/

mkir –p cloudera/

cd cloudera

从版本机（若没有，可以Cloudera官网下载）获取需要安装的软件包，并复制到当前目录下，软件包目录如下(每个版本不同，可以到http://archive.cloudera.com/cdh5/parcels/ 中选择对应的版本的目录下载对应的包)：

CDH-5.0.0-0.cdh5b1.p0.57-el6.parcel

cloudera-manager-agent-5.0.0-0.cm5b1.p0.77.el6.x86_64.rpm

cloudera-manager-daemons-5.0.0-0.cm5b1.p0.77.el6.x86_64.rpm

cloudera-manager-installer.bin

cloudera-manager-server-5.0.0-0.cm5b1.p0.77.el6.x86_64.rpm

cloudera-manager-server-db-5.0.0-0.cm5b1.p0.77.el6.x86_64.rpm

enterprise-debuginfo-5.0.0-0.cm5b1.p0.77.el6.x86_64.rpm

oracle-j2sdk1.7-1.7.0+update25-1.x86_64.rpm

在当前目录创建仓库：

yum -y  install yum-utils createrepo

createrepo  .    （注意，这儿有个点，表示当前目录）

到这步，安装仓库的搭建就完成了。

在需要安装hadoop的节点机器上配置刚才创建的安装源

cd /etc/yum.repos.d/

vi cloudera-manager.repo

输入以下内容

[cloudera-manager]

name = Cloudera Manager, Version 5.0.0-beta-1

baseurl = http://软件仓库IP/cloudera

gpgcheck = 0

保存后使用如下命令验证

yum search cloudera-manager-server

如果出现

===== N/S Matched: cloudera-manager-server ================

cloudera-manager-server.x86_64 : The Cloudera Manager Server

则表示安装源配置成功。

1.6 系统服务

1.6.1 防火墙

在集群上关闭所有节点的防火墙：service iptables stop; chkconfig iptables off 。

1.6.2 NTP服务

在管理节点上安装NTP服务，作为集群的时钟同步源。NTP服务的配置如下：

(1) 安装服务

使用rpm –qa|grep ntp查看是否已经安装服务，如果没有，使用yum –y install ntp安装。

(2) 服务端配置

修改/etc/ntp.conf文件，添加以下两行，然后执行service ntpd restart重启服务。

restrict 192.168.0.0 mask 255.255.255.0 nomodify #红色为客户端网段

server 127.127.1.0

(3) 客户端同步时间

以root用户登录，执行：ntpdate 管理节点IP。如果显示ntpdate[5599]: adjust time server管理节点IP offset -0.015740 sec，时间同步成功。然后添加定时同步：

crontab –e 在出现的窗口中添加0-59/10 * * * * /usr/sbin/ntpdate 管理节点IP，红色为管理节点IP。

备注：客户端最好也把ntpd服务打开，不然CDH集群时间偏差检查会报错。

1.6.3 关闭SELinux

以root用户登录管理节点：修改/etc/selinux/config 文件，将SELINUX=enforcing改为SELINUX=disabled，重启机器。

1.6.4 添加Host文件

以root用户登录各服务器：修改/etc/hosts 文件，将所有机器的ip以及hostname的对应关系添加到hosts文件中，例如：

192.168.10.101 master1

192.168.10.102 slave1

192.168.10.103 slave2

192.168.10.104 slave3

192.168.10.105 slave4

192.168.10.106 slave5

保存，退出。

备注：如果机器名全部使用FQDN格式（需要本地DNS支持或配置PublicDNS），则无需此步骤。

2 版本部署

2.1 安装ClouderaManager

以root用户登录管理节点，首先创建hadoop安装文件的保存目录

mkdir /opt/cloudera

cd /opt/cloudera

然后下载hadoop安装文件，并赋权限：

wget http://软件仓库IP/cloudera/cloudera-manager-installer.bin

chmod 755 cloudera-manager-installer.bin

./cloudera-manager-installer.bin --skip_repo_package=1

按照以下提示进行安装