生产环境上的HADOOP安装部署注意事项(HDP版)

正式部署前请详细阅读基础环境这三篇，非常重要！！！

硬件环境详解

操作系统环境详解

软件环境详解

一、安装前的准备

请参考第三章的基本环境注意事项，准备基础环境，这个很重要

二、软件下载

1.请从HDP官方下载 HDP与HDP-UTILS

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos6-rpm.tar.gz

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.1.0/ambari-2.4.1.0-centos6.tar.gz

2.请准备好系统安装盘.iso文件或者系统yum源

配置示例

mkdir -p /opt/ydbsoftware/centosyum

mount -o loop /opt/ydbsoftware/CentOS-6.6-x86_64-bin-DVD1.iso /opt/ydbsoftware/centosyum

3.从http://ycloud.net.cn/download获取延云软件

1)下载延云YDB

2)延云YDB提供的Spark （注意不要使用HDP提供的spark）

3)JDK1.8

 

 

 

三、软件上传

1.JDK安装

将安装包中的JDK安装到/opt/ydbsoftware/jdk1.8.0_60

分发到每台机器上，且路径统一为
/opt/ydbsoftware/jdk1.8.0_60

2.选定一台机器安装YDB的机器，上传软件

将全部软件上传到/opt/ydbsoftware目录下，并解压，注意是/opt/ydbsoftware，千万别写错了，且不能随意更改路径。

3.配置HTTP服务（在解压后的目录执行）

cd /opt/ydbsoftware

nohup python -m SimpleHTTPServer &

4.YUM源配置

1)备份旧的YUM源

cd /etc/yum.repos.d

mkdir -p bak

mv *.repo bak/

2)配置ambari源与本地系统源

每台机器都要配置

ambari.repo文件名不得更改

本地系统源很重要，一定要配置

配置示例如下

cat << EOF >/etc/yum.repos.d/ambari.repo

[centoslocal]

name=centoslocal

baseurl=http://ydbmaster:8000/centosyum

gpgcheck=0

[AMBARI]

name=AMBARI

baseurl=http://ydbmaster:8000/AMBARI-2.4.1.0/centos6/2.4.1.0-22

gpgcheck=0

[HDP]

name=