从头开始系列(一)—HDP篇之Centos 7完全离线安装HDP2.6.X

最新推荐文章于 2024-08-26 11:20:00 发布
最新推荐文章于 2024-08-26 11:20:00 发布
阅读量2.9k 收藏 7
点赞数 2
分类专栏： 大数据 文章标签： 大数据 Hadoop CDH 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42028303/article/details/80017990
版权

从头开始系列—HDP篇之Centos 7离线安装HDP2.6.X

标签（空格分隔）： 大数据 从头开始系列

[TOC]

题外话

公司最近要搭建自己得大数据平台，因为是培训公司，就着实验环境来。所以，从头开始搭建大部分环境。总上考虑，我打算使用HDP来搭建公司的大数据平台。

HDP能满足大部分需求。

环境准备

本次安装为离线安装。安装系统为：Centos 7
三台服务器：双路24线程CPU、64G内存、1T硬盘
节点规划如下：

表一

本次安装得是HDP2.6.X系列。因为是离线安装，所以需要其相应得离线文件，他们有：

  • Centos 7 everything的iso
  • jdk 1.8+
  • MySql安装包或者使用MaraiDB
  • HDP对应得文件^footnote
    -ambari-2.5.0.3-centos7.tar.gz
    -HDP-2.6.1.0-centos7-rpm.tar.gz
    -HDP-UTILS-1.1.0.21-centos7.tar.gz
    -ambari.repo
    -hdp.repo

开始

1、服务器端设置

1.1确认环境
  1. 三台服务器的HostName，以及/etc/hosts是否符合表一描述。
    image_1cbdu203816kk41m1pdq1n6e1eh42l.png-2kB
    微信图片_20180419163422.png-4.3kB
  2. 安装ambari时，需要关闭Linux的Selinux，故需要修改/etc/selinux/config修改为selinux=disabled
    image_1cbdtvs0d1vc6kpebua6rvva1r.png-2kB
    image_1cbdu0r2fuk3vig13k11qkr17hr28.png-24.1kB
  3. 因为我们是集群环境，故需要明确确定时间问题导致的服务启动失败，解决办法有：
    1、安装ntp服务(如果大家集群环境可以联网，可以试着配置一下)
    2、使用xshell功能，设置一个相同的时间(我采用该方式)
    1.png-1.7kB
    image_1cbdtru904p513841ur9aing4c1e.png-3.3kB
  4. 需要生成ssh密钥,并且主节点需要和从节点免密登陆
    ssh-keygen -t rsa
    三次回车后，会出现：
    image_1cbdu8saklm8fbb6q1ohic1v3f.png-8.7kB
    然后，使用
ssh-copy-id root@hdp02
ssh-copy-id root@hdp03

OK

  1. 需要关闭防火墙

以上必要的环境我们已经搭建完成。

1.2安装必要软件包

image_1cbdv8877hlg1fte11m1hvf12i83s.png-4.4kB
准备好了所有安装包

  1. 安装JDK
    tar zxvf jdk-8u161-linux-x64.tar.gz
mv jdk1.8.0_161/ /opt/jdk
##修改环境变量
vim /etc/profile
    image_1cbdvo471m5t82819qp13cd13l049.png-4.1kB
    source /etc/profile
java
javac
    如果java，javac有指令返回，说明环境变量配置成功
    scp -r /opt/jdk/ root@hdp02:/opt/
scp -r /opt/jdk/ root@hdp03:/opt/
scp -r /etc/profile root@hdp02:/etc/
scp -r /etc/profile root@hdp03:/etc/
    至此，jdk安装完成
  2. 安装MySql或者MaraiDB[需要在主节点安装，本次安装使用MaraiDB]^mysql
  3. 安装web环境
    为什么需要安装web环境，因为我们需要通过repo的方式获取安装文件，而我们下载了离线安装包，所以需要配置相关的repo文件。有很多种方式,但是我们这里直接使用Python自带的一个简单工具来开启
    ##因为我们是在/root/目录下，所以我们需要在/root/HDP目录下启动该命令
python -m SimpleHTTPServer
  4. 解压所有相关文件到指定文件夹下
    ##因为我们是在/root/HDP目录下启动的web服务，所以我们需要将相关文件解压到/root目录下
tar zxvf ambari-2.5.0.3-centos7.tar.gz
tar zxvf HDP-2.6.1.0-centos7-rpm.tar.gz
mkdir HDP-UTILS
cd HDP-UTILS
tar zxvf ../HDP-UTILS-1.1.0.21-centos7.tar.gz
    image_1cbe7o3s619cj1oru1a0u1tf7hvg9.png-4.6kB
    最终的目录应该如上所示。
    我们访问http://192.168.0.201:8000会发现如下界面：
    image_1cbe7s6kg1uepa810dd1lg8qdm.png-25.8kB
    这和上面的目录是一一对应的。
1.3配置本地源

  • 配置Centos 7官方镜像源

    因为我们是离线安装，没有任何联网手段，故需要配置Centos 7官方镜像源。

cd /etc/yum.repos.d/
##将所有的repo文件移动到任意一个非现在位置的地方。然后创建a.repo
vim a.repo
##之后输入：
[base]
name=LocalRepo
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
baseurl=file:///media
gpgcheck=0
enabled=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

上面代码我们看到，我们指定的url在file:///media，所以我们需要将Centos 7的everything的iso包挂载到/media下。

mount CentOS-7-x86_64-Everything-1708.iso /media/
lsblk

image_1cbe90od2rqfucu15431gtvvnc13.png-12.5kB

这样表明已经挂着成功

yum makecache

  • 配置HDP相关本地源

    上面我们已经看到网页`http://192.168.0.201:8000下有很多目录。OK，我们开始配置ambari.repo

vim /etc/yum.repos.d/ambari.repo
##输入一下内容
#VERSION_NUMBER=2.4.2.0-136

[Updates-ambari-2.4.2.0]
name=ambari-2.4.2.0 - Updates
baseurl=http://192.168.0.201:8000/ambari/centos7/
gpgcheck=0
#gpgkey=http://public-repo-1.hortonworks.com/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

##注意以上的baseurl是网页上能访问到的那么目录，如下图：

image_1cbed6inmtjmmhi13gilnq1ok11g.png-34.1kB

##同样的道理
vim /etc/yum.repos.d/hdp.repo
##输入一下内容
#VERSION_NUMBER=2.6.0.0-1245
[HDP-2.6.0.0]
name=HDP Version - HDP-2.6.0.0
baseurl=http://192.168.0.201:8000/HDP/centos7/
gpgcheck=0
#gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.0.201:8000/HDP-UTILS/
gpgcheck=0
#gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

##然后
yum makecache

如果没有报错，那么恭喜你，所有本地源配置完成！
image_1cbedejhl3rh1c9a1plo1qhq1mj1t.png-35.4kB

  • 为了部落，也为了一次成功还需要配置的有
    : *需要关闭python的sll认证

         vim /etc/python/cert-verification.cfg

    微信图片_20180419154810.png-8.5kB
    注意该操作需要在所有节点执行

: *需要在mysql中创建ambari数据库。

2、开始安装

1、安装ambari

以上配置全部配置完成之后，重启所有节点。重启之后不要忘记开启web服务。

yum -y install ambari-server
ambari-server setup
Customize user account for ambari-server daemon [y/n] (n)? [y]
Enter user account for ambari-server daemon (root):[直接回车]
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): [3]
Path to JAVA_HOME: [/opt/jdk]
Configuring database...
Enter advanced database configuration [y/n] (n)? [y]
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): [3]
Hostname (localhost):[直接回车]
Port (3306): [直接回车]
Database name (ambari): [直接回车]
Username (ambari):[root]
Enter Database Password (bigdata):[root]
WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java and set property "server.jdbc.driver.path=[path/to/custom_jdbc_driver]" in ambari.properties.
Press <enter> to continue.

注意：做到此步骤时，需要将mysql的jdbc jar包复制到/usr/share/java,并且在/etc/ambari-server/conf/ambari.properties中添加，如下：

server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.23.jar

然后继续

WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? 

##/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
##这说明我们需要去mysql中使用该文件创建表。
mysql -uroot -p

mysql> use ambari;
Database changed
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
##导入完成之后，返回继续安装
##输入[y]
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
##出现以上，表示设置成功。
##启动ambari
ambari-server start
Ambari Server 'start' completed successfully.[出现后表示成功启动]

OK，我们返回浏览器，访问：
http://192.168.0.201:8080
分别输入用户：admin 密码：admin
微信截图_20180419165527.png-27.2kB
微信截图_20180419165636.png-71.5kB

2、开始安装集群

上面我们已经安装好的ambari，所以我们现在开始安装HDP
image_1cbg8ch22aq916p81rc51ni25129.png-65.5kB

点击Launch Install Wizard按钮。进入如下界面：
image_1cbg8ho2siuk1khg1iv91l2vsnbm.png-52.1kB

在Name your cluster中输入你想要的集群名称，然后点击Next进入下一步；
image_1cbg8r7ko1oue17n48oiabjiog13.png-76.7kB

这里必须选择Use Local Repository使用本地源，而我们选择使用HDP2.6来安装集群。
image_1cbg93b4ucsii9f186f3c211gp1g.png-50.9kB

而，我们到了这一步，需要特别注意，要正确书写源地址，如果没有正确书写会发生错误。如果一切都书写完毕，点击Next按钮进入下一步：
image_1cbg9ig81hce1njd1ej5e854be2a.png-81.8kB
在该步骤中，我们需要明确书写要安装的节点HostName也就是我在图中花框的地方hdp[01-03],还有一个框，id_rsa来源自节点hdp01生成的ssh密钥。所有都书写完毕后，点击Register and Confirm进入下一步。
image_1cbg9mfvp5dd17o11p6i1qfp92v2n.png-63.9kB
很顺利的所有节点安装成功，点击Next进入下一步：
image_1cbg9o2ae1ngrf8ej8v1bgt6gr34.png-49.4kB
该步主要是选择需要安装的服务。我这里安装了：
HDFSYARN + MapReduce2 Tez Hive HBase Pig…太多了，不写了。选择完成之后，点击Next按钮进入下一步。
下一步和下下一步的操作就不多介绍了，直接进入配置篇：
image_1cbgajj5317ed1uh11sg4187m1c283h.png-58.2kB
在配置这步骤中，会有很多需要我们手动配置的地方。这里着重说一下Hive那里，Hive我们都知道是需要配置元数据库的，所以我们这里这样选择：
image_1cbgaomk81ejdgo212h51km31ub3u.png-55.6kB
选择Existing MySQL / MariaDB Database表示使用已经存在的Mysql或者MariaDB。之后输入hive数据库名，这里我们需要创建hive数据库,书写用户名密码。在shell中这样操作:

##登陆数据库
mysql> create database hive;
##退出数据库
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.23.jar

然后修改Database URL链接为hdp01,点击Test Connection按钮，看是否能链接成功。
image_1cbgb0jorggp15npjcr1p121bj34b.png-4.6kB

链接成功后，将其他需要设置的点都设置完成，点击Next按钮，开始安装服务。
image_1cbgbqu7h7gd17jl74aan41jeh4o.png-58.3kB

image_1cbgbrrcgc7m1d1n11oqmlv18ta55.png-41kB

等待安装完成！(这是一个漫长的等待过程~~~~)
image_1cbgemire23614101tjsfqs19an72.png-43.1kB
我们看到，开启服务失败，不要担心，只是服务没有启动而已。我们点击Complete按钮，完成安装。
image_1cbgeojksesdhjheng1k18d57f.png-125.8kB

我们发现了好多警告，没关系，点击Actions->Start All按钮，开启所有服务，稍等片刻，即可看到服务启动成功。
image_1cbgi95cc140qhbb110cnlf1bc67s.png-136.7kB

OK！平台安装完毕~

​
千易云Lee
关注
专栏目录
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
weixin_42340179的博客
11-21 692
本文介绍纯净版的机器，搭建ambari集群，版本如标题，集群规模为1master，4slaver。 1、首先为5台机器分别分配好主机名和相应的IP地址，主机名需要符合FQDN规则，不能简单的master，我这里分配的如下： master.qc.com 192.168.8.100 slaver1.qc.com 192.168.8.101 slaver2.qc.com 192.168.8.10...
Ambari 2.6.0 HDP 2.6.3集群搭建
11-24
三台机器安装好CentOS-7-x86_64-Minimal-1708.iso 下载地址：https://www.centos.org/download/ 最好在安装时设置好IP和HOSTNAME 三台机器的IP和HOSTNAME下载如下
centos7虚拟机离线安装HDP
万物皆可互联，一切均可编程
02-25 902
实验环境 一台主机：win7 三台虚拟机：centos7，一台为master，另外两台为slave 约定：为了避免错误，所有操作均使用root用户 准备安装包 ambari-2.6.0.0-centos7.tar.gz HDP-2.6.3.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.21-centos7.tar.gz jdk-8u112-linux-x64.ta...
【NTP时间同步】Centos7离线安装 NTP 服务
最新发布
liuqw231的专栏
08-26 410
配置的NTP服务IP地址：172.17.3.11。
CentOS7离线安装Ambari与HDP
weixin_30883271的博客
05-31 142
CentOS7离线安装Ambari与HDP 安装步骤总体说明 1.安装以前需要先规划服务器，一台主机多台从机。主从需要设置时间同步和免密。 2.建立离线源，因在线安装速度很慢，所以需要建立离线源。 3.在主机上安装Ambari，进入系统后，挂接从机安装软件。 可以先在主机上建立离线源，安装ambari后，再配置从机也可以。但是域名最好先...
docker 环境下ambari-2.1.0离线升级hdp2.2.6.0 to hdp2.3.0.0
moxuqiang_dm的博客
08-07 2003
准备：首先搭建好docker的centos容器环，详见：http://blog.csdn.net/moxuqiang_dm/article/details/47083437 在创建容器的过程当中，最值得注意的是数据卷的挂载，因为hdp的安装文件很大，且容器的根目录默认只分配10G，并且docker容器是存储在根目录下的，这样就会造成宿主根目录不够用的情况；(说明一下我实验用的机器大概配置是I3处理
HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
09-04
标题 "HDP-GPL-2.6.4.0-centos7-rpm.tar.gz" 提供的信息表明，这是一个与HDP（Hortonworks Data Platform）相关的开源版本，具体为2.6.4.0版，面向CentOS 7操作系统的RPM（Red Hat Package Manager）格式的软件包。...
Ambari-2.6.2.2 + HDP-2.6.5 （Centos7和Redhat7版本）的网盘下载地址
05-12
在 Centos7 和 Redhat7 上安装 Ambari-2.6.2.2 + HDP-2.6.5，首先需要确保你的系统满足最低硬件和软件要求，包括兼容的操作系统版本、Java 运行环境（JRE 或 JDK）以及必要的网络访问权限。安装过程通常包括以下步骤...
Ambari和HDP下载网盘地址(Ambari-2.5.2.0 + HDP-2.6.2.14)
03-25
该网盘内容是：Ambari-2.5.2.0-centos7.tar.gz，HDP-2.6.2.14-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz，绝对真实。。 。。。。一定要注意：其他版本如Ambari-2.7.3.0 + HDP-3.1.0.0，Ambari-2.7.4.0...
HDP安装文档
09-10
大数据发行版hortonworks文档，很全面，严格按照安装文档的说明，一步步来，很容易安装成功
大数据AMBARI2.6.2.2+HDP2.6.5.0安装实战centos7版(新)
Oo骑着猪去买西瓜-杨清oO的博客
07-19 1210
大数据AMBARI2.6.2.2+HDP2.6.5.0安装实战centos7版（新） 最近有点空，把ambari+hdp安装部署操作实战分享给大牛们，拿走不谢！ 1、虚拟机准备 我准备的是3台：centos-hadoop1、centos-hadoop2、centos-hadoop3 并且配置好对应主机的网络IP、主机名称、关闭防火墙。 systemctl stop firewalld.service 2、安装JDK 我这里已经安装好了—系统自带的JAVA，没有安装的小伙伴安装一下且配置好环境.
Ambari2.6.0 安装HDP2.6.3（离线安装）
aigu1989的博客
04-25 705
一、下载安装包 　　因为使用在线安装特别慢，所有的安装包加起来有9个G左右，所以本教程是通过迅雷下载包，然后上传到服务器，通过配置本地源的方式来实现的离线安装。通过ambari安装需要下载下面的三个主要包： HDP：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-c...
Centos7.5下HDP集群搭建（二）
betty_ru的博客
07-17 428
二、本地仓库搭建(本地仓库为172.16.172.17服务器，以下操作都在这台设备上进行) 1.准备下载文件 a.Ambari 下载包：wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz ambari.repo：wget http...
升级ambari、HDP版本（ambari 2.1升级到2.4、HDP2.3升级到2.5）
热门推荐
TURING.DT
09-07 1万+
官方升级版本说明 http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html 官方升级步骤 http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/b
HDP(Hortonworks Data Platform) 安装
weixin_45514285的博客
10-08 1758
HDP + linux + docker安装
CentOS7 ambri2.6.1.5+hdp2.6.4.0 大数据平台搭建
弓昭的技术博客
07-02 2254
CentOS7 ambari 前言 本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是6...
HBase集群升级, 通过HBase rpm 或 tar包形式(以HDP 为例，包含 升级及HBCK2 介绍和使用)
Yore - Home
04-10 3864
HBase 作为 HBase 生态圈重要的组建，在海量数据分析中占有重要的位置。随着 HBase 版本迭代，生产环境的 HBase 难免会面对升级的需求，升级的原因，要么是需要用到新版本的特性，要么是当前的版本存在不得不升级的缺陷，等。本文以 HDP 环境为例，详细介绍了 HBase 的编译及 rpm 包的生产过程，来对生产环境中的 HBase 进行升级。其中介绍 RPM 的基础知识，同时也介绍了两种生成 RPM 包的方式
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值