HDP 2.5安装搭建部署

前言

HDP 全称Hortonworks Data Platform (HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分组件，能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境，与此类似的还有CDH(Cloudera Hadoop)。因最近在公司搭建这个，在此记录一下。

环境

• CentOS 7.x
• JDK 1.8
• HDP 2.5

准备工作

安装创建本地仓库工具

首先肯定是要有一台服务器可以连接外网的，否则任何软件包都无法下载了。
以下命令默认都是以root用户运行：

# yum install createrepo -y

createrepo工具可以帮助我们创建一个本地局域网的私有仓库。

安装yum-utils包

yum-utils包含有reposync工具，可以方便的从远程同步仓库镜像到本地

# yum install yum-utils -y

安装配置nginx

安装nginx是用来方便内网其他服务器进行访问私有仓库，用apache也可以，不过我个人比较喜欢用nginx。

# yum install nginx -y

将nginx配置成文件服务器，类似apache那种。编辑/etc/nginx/nginx.conf文件。

# vim /etc/nginx/nginx.conf
找到server节点，添加以下内容即可。

server {

  listen 80 default_server;

  location / {
    root /var/www/html; #这里可以选择一个空间较大分区
    autoindex on;
    autoindex_exact_size off;
    autoindex_localtime on;
  }

之后执行以下命令，启动nginx，查看运行状态以及设置开机自启：

# systemctl start nginx
# systemctl status nginx   # 出现Active: active (running)表示启动成功
# systemctl enable nginx

配置HDP 2.5源

在可以访问外网的服务器上进行配置，执行以下命令：

# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

这个命令是配置ambari仓库的，Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。目前也是Apache的顶级项目。
继续配置hdp仓库，执行以下命令：

# wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/hdp.repo -O /etc/yum.repos.d/hdp.repo

生成一下缓存：
# yum makecache
然后查看仓库id等信息，方便后面制作私有仓库。

# yum repolist
Loaded plugi