HORTWORKS HDP 安装

最新推荐文章于 2023-11-27 08:39:31 发布
最新推荐文章于 2023-11-27 08:39:31 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： 大数据 文章标签： 大数据-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bjtucheryl/article/details/54425292
版权 
                 ***HORTWORKS  DATA  PLATFORM***
                    Ambari and hdp Installation


                                   2017.1.14

一． 准备阶段

1.1 确定堆栈兼容性

这里写图片描述

1.2满足系统最低需求

1.2.1 操作系统需求

The following, 64-bit operating systems are supported:
• Red Hat Enterprise Linux (RHEL) v7.x
• Red Hat Enterprise Linux (RHEL) v6.x
• CentOS v7.x 操作选用系统
• CentOS v6.x
• Debian v7.x
• Oracle Linux v7.x
• Oracle Linux v6.x
• SUSE Linux Enterprise Server (SLES) v12 SP1 (HDP 2.5)
• SUSE Linux Enterprise Server (SLES) v11 SP4 (HDP 2.2 and later)
• SUSE Linux Enterprise Server (SLES) v11 SP3 (HDP 2.2 and later)
• SUSE Linux Enterprise Server (SLES) v11 SP1 (HDP 2.2)
• Ubuntu Precise v12.04
• Ubuntu Trusty v14.04

1.2.2 浏览器支持

Ambari安装向导作为基于浏览器的Web应用程序运行。您必须具有能够运行图形浏览器才能使用此工具的计算机。所需的最低浏览器版本包括：
• Windows (7, 8)
• Internet Explorer 10
• Firefox 18
• Google Chrome 26
• Mac OS X (10.6 or later)
• Firefox 18
• Safari 5
• Google Chrome 26
• Linux (CentOS, Debian, Oracle Linux, RHEL, SLES, Ubuntu)
• Firefox 18
• Google Chrome 26
On any platform, we recommend updating your browser to the latest, stable version.
本人使用Google浏览器

1.2.3 软件需求

On each of your hosts:
• yum and rpm (RHEL/CentOS/Oracle Linux)
• zypper and php_curl (SLES)
• apt (Debian/Ubuntu)
• scp, curl, unzip, tar, and wget
• OpenSSL (v1.01, build 16 or later)
• Python
• For CentOS 6: Python 2.6.*
• For SLES 11, SLES 12: Python 2.6.8 or later
• For CentOS 7, Ubuntu 12, Ubuntu 14, and Debian 7: Python 2.7.*

1.2.4 JDK需求

The following Java runtime environments are supported:
• Oracle JDK 1.8 64-bit (minimum JDK 1.8.0_77) (default)
• Oracle JDK 1.7 64-bit (minimum JDK 1.7_67)
• OpenJDK 8 64-bit (not supported on SLES)
• OpenJDK 7 64-bit (not supported on SLES)
本机使用jdk-8u111-linux-x64.tar.gz 默认安装路径/usr/java

1.2.5 数据库需求

Ambari需要一个关系数据库来存储有关集群配置和拓扑的信息。如果您使用Hive或Oozie安装HDP Stack，它们还需要关系数据库。下表概述了这些数据库要求：

本次数据的存储使用MySQL-5.6.27-1.el6.x86_64.rpm-bundle不使用ambari默认数据库
Centos 默认使用 mariadb数据库
rpm -qa | grep mariadb 卸载相关
如 rpm -e –nodeps mariadb-libs-5.5.35-3.el7.x86_64
默认解压rpm路径 /usr/mysql
安装mysql tar -xvf MySQL-5.6.27-1.el6.x86_64.rpm-bundle.tar
安装server、client、devel文件

1.[root@localhost rpm]# /usr/bin/mysql_install_db

2 [root@localhost rpm]# service mysql start

3 [root@localhost rpm]# cat /root/.mysql_secret #查看root账号密码

4.登录 cat /root/.mysql_secret #查看root账号密码

5.修改密码 SET PASSWORD FOR ‘root’@’localhost’ = PASSWORD(‘root’);

1.2.6 内存需求

The Ambari host should have at least 1 GB RAM, with 500 MB free.
如果计划将Ambari度量服务（AMS）安装到群集中，则应查看“Hortonworks数据平台Apache Ambari用户指南”中的“使用Ambari度量”部分，了解资源要求的准则。通常，计划运行Ambari Metrics Collector主机的主机应根据群集大小具有以下内存和磁盘空间：

这里写图片描述

1.2.7 包大小和Inode计数要求

这里写图片描述

1.2.8 检查最大打开文件描述符

建议的最大打开文件描述符数量为10000或更多。要检查为打开的文件描述符的最大数量设置的当前值，请在每个主机上执行以下shell命令：

ulimit -Sn
ulimit -Hn
If the output is not greater than 10000, run the following command to set it to a suitable
default:
ulimit -n 10000

1.3 收集信息

系统中每个主机的完全限定域名（FQDN）。 Ambari安装向导支持使用IP地址。您可以使用主机名-f来检查或验证主机的FQDN。

可以在单个主机上部署所有HDP组件，但仅适用于初始评估目的。通常，您至少设置三台主机;一个主主机和两个从属，作为最小群集。
要在每个主机上设置的组件列表。
•要用作存储安装点的基本目录：
•NameNode数据
•DataNode数据
•辅助NameNode数据
•Oozie数据
•YARN数据
•ZooKeeper数据（如果安装ZooKeeper）
•各种日志，pid和db文件，具体取决于您的安装类型

您必须使用为HDP组件和Hadoop数据提供持久存储位置的基目录。在可能从主机中删除的位置中安装HDP组件可能会导致群集故障或数据丢失。例如：不要在基本目录路径中使用/ tmp。

1.4 准备环境

1.4.1 设置SSH免密码登陆

  1. 在Ambari服务器主机上生成公共和私有SSH密钥。
    ssh-keygen

  2. 将SSH公钥（id_rsa.pub）复制到目标主机上的根帐户
    .ssh/id_rsa
    .ssh/id_rsa.pub

  3. 将SSH公钥添加到目标主机上的authorized_keys文件
    cat id_rsa.pub >> authorized_keys
  4. 根据您的SSH版本，您可能需要在目标主机上的.ssh目录（至700）和该目录中的authorized_keys文件（至600）中设置权限
    chmod 700 ~/.ssh
    chmod 600 ~/.ssh/authorized_keys
  5. 从Ambari服务器，请确保您可以使用SSH连接到群集中的每个主机，而无需输入密码
    ssh root@

1.4.2. 安装用户权限

每个HDP服务都需要一个服务用户帐户。 Ambari安装向导将创建新的并保留任何现有的服务用户帐户，并在配置Hadoop服务时使用这些帐户。服务用户帐户创建适用于本地操作系统和LDAP / AD帐户上的服务用户帐户。有关为每个HDP服务定制服务用户帐户的详细信息，请参阅为HDP 2.x堆栈定义服务用户和组。

1.4.3. 在群集和浏览器主机上启用NTP

群集中所有节点和运行浏览器（访问Ambari Web界面的计算机）的时钟必须能够彼此同步。
To install the NTP service, run the following command on each host:
RHEL/CentOS/Oracle 6
yum install -y ntp
RHEL/CentOS/Oracle 7
yum install -y ntp
To check that the NTP service will be automatically started upon boot, run the following
command on each host:
RHEL/CentOS/Oracle 6
chkconfig –list ntpd
RHEL/CentOS/Oracle 7
systemctl is-enabled ntpd
To set the NTP service to auto-start on boot, run the following command on each host:
RHEL/CentOS/Oracle 6
chkconfig ntpd on
RHEL/CentOS/Oracle 7
systemctl enable ntpd
To start the NTP service, run the following command on each host:
RHEL/CentOS/Oracle 6
service ntpd start
RHEL/CentOS/Oracle 7
systemctl start ntpd

1.4.4. 检查DNS 和 NSCD

必须为正向和反向DNS配置系统中的所有主机。如果无法以这种方式配置DNS，您应该编辑集群中每个主机上的/ etc / hosts文件，以包含每个主机的IP地址和完全限定域名。提供以下说明作为概述，并涵盖通用Linux主机的基本网络设置。不同版本和风格的Linux可能需要略有不同的命令和过程。请参阅在您的环境中部署的操作系统的文档。 Hadoop严重依赖DNS，因此在正常操作期间执行许多DNS查找。为了减少DNS基础架构的负载，强烈建议在运行Linux的集群节点上使用名称服务缓存守护进程（NSCD）。此守护程序将缓存主机，用户和组查找，并提供更好的分辨率性能，并减少DNS基础架构的负载。

1.4.4.1. 编辑主机文件
  1. 使用文本编辑器，打开群集中每个主机上的hosts文件。vi /etc/hosts
  2. 为群集中的每个主机添加一行。该行应包含IP地址和FQDN。例如
    1.2.3.4
1.4.4.2. 设置主机名

hostname

1.4.5. 配置 iptables

为了使Ambari在部署和管理的主机的安装过程中进行通信，某些端口必须是开放的并且可用。最简单的方法是暂时禁用iptables
RHEL/CentOS/Oracle Linux 6
chkconfig iptables off
/etc/init.d/iptables stop
RHEL/CentOS/Oracle Linux 7
systemctl disable firewalld
service firewalld stop

1.4.6. 禁止 SELinux 、PackageKit 并检查 umask Value

  1. You must disable SELinux for the Ambari setup to function. On each host in your cluster,
    setenforce 0
    永久禁用SELinux在/ etc / selinux / config中设置SELINUX = disabled这可以确保在重新启动机器后SELinux不会自行打开。
    2.在安装了PackageKit的运行RHEL / CentOS的安装主机上，使用文本编辑器打开/ etc/yum/pluginconf.d/refresh-packagekit.conf。进行以下更改：enabled = 0
  2. UMASK（用户掩码或用户文件创建MASK）设置在Linux机器上创建新文件或文件夹时授予的默认权限或基本权限。大多数Linux发行版将022设置为默认umask值。 umask值为022时，新文件或文件夹的读取，写入和执行权限为755。 umask值为027时，新文件或文件夹的读，写和执行权限为750。 Ambari和HDP支持022的umask值（0022是功能等效的），027（0027是功能上等价的）。必须在所有主机上设置这些值

UMASK Examples:
Setting the umask for your current login session:
umask 0022
Checking your current umask:
umask 0022
Permanently changing the umask for all interactive users:
echo umask 0022 >> /etc/profile

1.5. 使用本地仓库

1.5.1 Ambari Repositories

这里写图片描述

1.5.2 HDP 2.5 Repositories

这里写图片描述

1.5.3 Getting Started Setting Up a Local Repository

要开始设置本地存储库，请完成以下先决条件：在运行支持的操作系统的集群中选择一个现有服务器或可访问该服务器。启用从群集中所有主机到镜像服务器的网络访问。确保镜像服务器安装了包管理器，例如yum（RHEL / CentOS / Oracle Linux），zypper（SLES）或apt-get（Debian / Ubuntu）。可选：如果您的存储库具有临时Internet访问权限，并且您使用RHEL / CentOS / Oracle Linux作为操作系统，请安装yum实用程序：
yum install yum-utils createrepo

创建HTTP服务器。在镜像服务器上，使用此处提供的说明安装HTTP服务器（如Apache httpd）。激活此Web服务器。确保任何防火墙设置允许从集群节点到镜像服务器的入站HTTP访问。Yum install httpd 安装http Server

On your mirror server, create a directory for your web server.
For example, from a shell window, type:
For RHEL/CentOS/Oracle Linux: 

mkdir -p /var/www/html/
For SLES:
mkdir -p /srv/www/htdocs/rpms
For Debian/Ubuntu:
mkdir -p /var/www/html/
If you are using a symlink, enable the followsymlinks on your web server.

本人采用yum install httpd
systemctl start httpd.service
systemctl enable httpd
进入/var/www/html 创建index.html 验证
这里写图片描述

无internet访问权限将ambari与hadoop相关软件拷贝致/var/www/html 下并解压
这里写图片描述
输入http://172.19.19.70/HDP-UTILS-1.1.0.21/repos/centos7/ 验证访问

这里写图片描述

http://172.19.19.70/HDP/centos7/

这里写图片描述

http://172.19.19.70/AMBARI-2.4.2.0/centos7/2.4.2.0-136/

这里写图片描述

二、安装Ambari

2.1. 下载Ambari 仓库

1.以root用户身份登录
2. wget -nv http://public-repo1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

3.禁止修改ambari.repo的用户名
4.文件地址 cd/etc/yum.repos.d
5. 检查 repo list. 输入命令yum repolist 显示如下
这里写图片描述
6.安装 yum install ambari-server

2.2. 安装 Ambari Server

ambari-server setup
Respond to the setup prompt:
1. 如果没有禁用SELinux, 你将会得到警告. 输入y继续.
2. 默认用户为root
3. 果没有禁用iptables, 你将会得到警告. 输入y继续.
4. 选择在线安装JDK或者自己的jdk

这里写图片描述

如果选择已经存在的mysql数据库
create database ambari character set utf8 ;
CREATE USER ‘ambari’@’%’IDENTIFIED BY ‘ambari’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@’%’;
FLUSH PRIVILEGES;
use ambari
source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 该文件在安装ambari成功后才会有

这里写图片描述

此处需要注意需要在 /usr/share/java 加入mysql-connect-java
yum install mysql-connector-java

这里写图片描述
##2.3 Start the Ambari Server

ambari-server start
这里写图片描述
ambary 默认端口为8080 因为端口可能会产生冲突
vi /etc/ambari-server/conf/ambari.properties
在文件中增加client.api.port=，本机port_number修改为8899。
端口号8899
用户名：admin 密码：admin
这里写图片描述

登录成功后页面
这里写图片描述

1.输入集群的名称 如HDP
这里写图片描述
2.选择HDP的版本 本机采用HDP-2.5

这里写图片描述

3.前面已将ambari和HDP相关的文件拷贝至 /var/www/html/下 并配置文件路径如下
这里写图片描述
4.配置hostname 和 ssh的私钥
这里写图片描述
5. 验证主机

这里写图片描述
6.

选择相应的服务
这里写图片描述
7.

选择节点
这里写图片描述

8．选择主节点和从节点
这里写图片描述
9.定制服务 如果没有一般的性能优化要求，使用默认
这里写图片描述
这里写图片描述
10.检查并部署

这里写图片描述

11.安装和检测 中间出错的话请自行查找错误 知道出现绿色条目证明测试成功

这里写图片描述
这里写图片描述

bjtucheryl
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hortonwork hdp3.1平台配置使用hplsql及测试
weixin_43905406的博客
02-13 885
一、hplsql安装配置 Hortonwork hdp3.0平台自带的hive3已集成了hplsql，无需安装，但是需要手工新建配置文件hplsql-site.xml，并更新对应的hive-hpsql-xxx.jar文件(xxx是版本号）。 配置文件的样例 主要是修改hplsql的默认连接串hplsql.conn.default、hive的连接配置信息hplsql.conn.hive2...
hortonworks官方安装文档
10-30
英文文档，但是比较全面和详细，Install Hadoop Using Apache Ambari
ubuntu 18.04安装hdp 3.1.0（含安装包）
hidataplus的博客
09-28 1285
hdp平台提供centos、ubuntu等平台的安装与使用，本文以ubuntu 18.04操作系统为基础，介绍hdp3.1.0在该平台上的安装与配置，并提供安装包下载，手把手教您搭建属于您的大数据平台。
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包-HDP安装包大全
07-16
Ambari的Ubuntu版本，版本号Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu
Ubuntu14搭建HDP本地源
succeedloveaaaa的专栏
01-06 967
环境准备： Server1：本地源服务器 Server2：测试服务器 1.下载HDP安装包到Server1 wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.6.0.0/ambari-2.6.0.0-ubuntu14.tar.gz 2.在Server1安装apache 2.1 安装
HDP2.3安装文档
10-11
本次安装的HDP版本是2.3，ambari版本是2.1，安装的系统是linux redhat6.5。本文中所有的相关操作都是依据redhat6.5的
hdp安装手册
12-24
2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital ...Hortonworks的主打产品是Hotonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
hdp安装操作指引.docx
09-04
【HDP安装操作指引】 Hadoop Distributed Platform (HDP) 是 Hortonworks 提供的一个全面的开源大数据平台，它包含了各种组件以支持大数据处理和分析。本指南将详细讲解如何搭建最新的HDP集群，并添加TensorFlowOn...
HDP2.0安装文档
05-24
HDP2.0安装文档HDP2.0安装文档HDP2.0安装文档HDP2.0安装文档
HDP集群安装.pdf
05-31
安装HDP集群干货
HDP安装文档
09-10
大数据发行版hortonworks文档，很全面，严格按照安装文档的说明，一步步来，很容易安装成功
ubuntu 18.04 离线搭建HDP3.1
zhu2525wei的博客
03-02 1310
1、设置ssh不超时 在/etc/profile中设置 export TMOUT=0 在sshd配置文件中添加这个： ClientAliveInterval 300 ClientAliveCountMax 3 2、设置ssh互信 ssh-keygen ssh-copy-id -i /root/.ssh/id_rsa.pub 192.168.72.17 ssh-copy-id -i /root/.ssh/id_rsa.pub 192.168.72.18 ssh-copy-id -i /root/.ssh/i
Hortworks Hadoop 2.4.2安装、配置
数据科学汇集
05-23 7064
Hortworks Hadoop 2.4.2安装、配置 1 简介 此手册应用于virtualbox虚拟机硬盘紧张时添加额外硬盘时的情景。 1.1 参考资料 http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/bk_Installing_HDP_AMB-20160509.pdf
Hortworks Hadoop生态圈简介
weixin_30872867的博客
10-20 128
Hortworks 作为Apache Hadoop2.0社区的开拓者，构建了一套自己的Hadoop生态圈，包括存储数据的HDFS，资源管理框架YARN，计算模型MAPREDUCE、TEZ等，服务于数据平台的PIG、HIVE&HCATALOG、HBASE，HDFS存储的数据通过FLUME和SQOOP导入导出，集群监控AMBARI、数据生命周期管理FALCON、作业调度系统OOZIE。本文简要...
Hortnoworks_Hadoop安装
weixin_39864440的博客
08-05 326
配置要求 1.内存要求 主机： node-1 : 192.168.130.132 , 配置：2Core 8G-10G ，yum 镜像源,数据库, java环境 node-2 : 192.168.130.133, 配置：2Core 8G-10G ，java环境 node-3 : 192.168.130.134, 配置：2Core 8G-10G ，java环境 Ambari主机应具有至少1 GB RA...
部署大数据平台详细教程以及遇到的问题解答（ubuntu18.04下安装ambari2.7.3+HDP3.1.0）
leaning_java的博客
09-19 839
部署大数据平台详细教程以及遇到的问题解答（ubuntu18.04下安装ambari2.7.3+HDP3.1.0）
Hive数仓项目架构说明、环境搭建及数据仓库基础知识
黑马程序员官方博客
10-10 773
​ 大数据的发行版本, 主要有三个发行版本: Apache 官方社区版本, cloudera 推出CDH商业版本, Hortworks推出的HDP商业免费版本, 目前HDP版本已经被cloudera 收购了Apache版本Hadoop生态圈组件的优点和弊端:完全开源，更新速度很快大数据组件在部署过程中可以深刻了解其底层原理可以了解各个组件的依赖关系缺点部署过程极其复杂，超过20个节点的时候，手动部署已经超级累各个组件部署完成后，各个为政，没有统一化管理界面。
HDP(Hortonworks Data Platform) 安装
weixin_45514285的博客
10-08 1695
HDP + linux + docker安装
【Ambari】HDP单机自动化安装（基础环境和MySQL脚本一键安装）
最新发布
康师傅没有眼泪
11-27 5649
如上是单机测试环境，我们可以将集群扩展到多台 完成集群安装。
离线安装HDP2.6.5集群教程
"HDP集群安装方法，包括Ambari2.6.2版本安装HDP2.6.5，离线安装步骤，所需环境及组件版本，以及安装前需安装的系统软件。" Hadoop Distributed Platform (HDP) 是 Hortonworks 提供的一个全面的数据平台，它包含了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值