【CentOS7+ Ambari 2.7.4 + HDP 3.1.4】搭建数据仓库

旧文拾起,来自某源。可惜当前已被商业化,只能用历史版本。

本文链接:【CentOS7+ Ambari 2.7.4 + HDP 3.1.4】搭建数据仓库_TechingOn的博客-CSDN博客

搭建本地仓库:

1. 下载软件包

Ambari 2.7.4:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.4.0/ambari-2.7.4.0-centos7.tar.gz

HDP-3.1.4.0:

HDP:http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.4.0/HDP-3.1.4.0-centos7-rpm.tar.gz
HDP-UTILS:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
HDP-GPL:http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.1.4.0/HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

准备 repo 配置文件. 

dwtest 为 ambari 部署机 hostname

ambari 服务本地仓库配置:ambari.repo ,位于 /etc/yum.repos.d/

#VERSION_NUMBER=2.7.4.0-118
[ambari-2.7.4.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.4.0
baseurl=http://dwtest/ambari_repo/centos7/2.7.4.0
gpgcheck=1
gpgkey=http://dwtest/ambari_repo/centos7/2.7.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp 本地仓库配置:ambari-hdp-1.repo

[HDP-3.1-repo-1]
name=HDP-3.1-repo-1
baseurl=http://dwtest/ambari_repo/hdp/HDP/centos7/3.1.4.0-315

path=/
enabled=1
gpgcheck=0
[HDP-3.1-GPL-repo-1]
name=HDP-3.1-GPL-repo-1
baseurl=http://dwtest/ambari_repo/hdp/HDP-GPL/centos7/3.1.4.0-315

path=/
enabled=1
gpgcheck=0
[HDP-UTILS-1.1.0.22-repo-1]
name=HDP-UTILS-1.1.0.22-repo-1
baseurl=http://dwtest/ambari_repo/hdp/HDP-UTILS/centos7/1.1.0.22

path=/
enabled=1
gpgcheck=0

2. 起动一个本地 HTTP 服务来提供仓库访问 url

安装并开启 Apache HTTP 服务

yum install httpd -y
systemctl enable httpd
systemctl start httpd

确保 /var/www/html 目录存在,没有的话创建。

mkdir -p /var/www/html

 创建 HDP,HDF 子目录

cd /var/www/html
mkdir hdp  hdf

解开下载的软件包:

cd /var/www/html/ambari_repo
tar -zxvf  ../ambari-2.7.4.0-centos7.tar.gz    -C .
tar -zxvf  ../HDP-3.1.4.0-centos7-rpm.tar.gz   -C ./hdp
tar -zxvf  ../HDP-GPL-3.1.4.0-centos7-gpl.tar.gz  -C ./hdp
tar -zxvf  ../HDP-UTILS-1.1.0.22-centos7.tar.gz   -C ./hdp

四、主节点安装 ambari server

1,使用刚才配置好的本地仓库,直接 yum 命令安装。

yum install ambari-server -y

2,查看 ambari server 状态

systemctl status ambari-server 

● ambari-server.service - LSB: ambari-server daemon
   Loaded: loaded (/etc/rc.d/init.d/ambari-server; bad; vendor preset: disabled)
   Active: inactive (dead)
     Docs: man:systemd-sysv-generator(8)

看到 ambari server 已成功安装了。

4,配置 ambari server

执行命令

ambari-server setup

回答选择项,其中 JDK 选择 “”Custom“”,给出系统安装目录。https://docs.cloudera.com/HDPDocuments/Ambari-2.7.4.0/bk_ambari-installation/content/set_up_the_ambari_server.html

Ambari-server 安装完成

浏览器访问 ambari-server 服务:

http://dwtest:8080

默认用户名 / 密码为:admin/admin

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
好的,以下是 CentOS7+DRBD+NFS+Keepalived 搭建的详细文档: 注意事项: - 本文档基于 CentOS 7 操作系统。 - 本文档假设您已经熟悉 Linux 基础知识。 - 本文档中的 IP 地址、网段等均为示例,请根据实际情况修改。 一、安装 DRBD 1. 安装 epel 源 ```bash yum install epel-release -y ``` 2. 安装 DRBD ```bash yum install drbd84-utils kmod-drbd84 -y ``` 3. 修改 DRBD 配置文件 `/etc/drbd.d/global_common.conf`,添加以下配置: ```conf global { usage-count no; } common { protocol C; } ``` 4. 配置 DRBD,修改 `/etc/drbd.d/drbd0.res` 文件,添加以下配置: ```conf resource drbd0 { device /dev/drbd0; meta-disk internal; syncer { rate 100M; } on node1 { address 192.168.1.101:7788; disk /dev/sdb1; } on node2 { address 192.168.1.102:7788; disk /dev/sdb1; } } ``` 说明: - `device`:DRBD 同步的设备名。 - `meta-disk`:DRBD 元数据存储位置。 - `syncer`:同步速率。 - `on`:节点配置,`address` 为节点 IP 和端口,`disk` 为 DRBD 同步的磁盘设备。 5. 初始化 DRBD 在节点1上执行: ```bash drbdadm create-md drbd0 ``` 在节点2上执行: ```bash drbdadm create-md drbd0 ``` 6. 启动 DRBD 在节点1上执行: ```bash drbdadm up drbd0 ``` 在节点2上执行: ```bash drbdadm up drbd0 ``` 7. 初始化数据 在节点1上执行: ```bash drbdadm primary drbd0 --force mkfs.xfs /dev/drbd0 ``` 在节点2上执行: ```bash drbdadm primary drbd0 --force mkfs.xfs /dev/drbd0 ``` 8. 启用 DRBD 自动同步 在节点1上执行: ```bash drbdadm -- --overwrite-data-of-peer primary drbd0 ``` 在节点2上执行: ```bash drbdadm connect drbd0 ``` 二、安装 NFS 1. 安装 NFS ```bash yum install nfs-utils -y ``` 2. 配置 NFS,修改 `/etc/exports` 文件,添加以下配置: ```conf /drbd_mount_point 192.168.1.0/24(rw,sync,no_root_squash) ``` 说明: - `/drbd_mount_point`:DRBD 挂载的目录。 - `192.168.1.0/24`:允许访问的 IP 段。 - `rw`:允许读写。 - `sync`:同步写入。 - `no_root_squash`:允许 root 用户访问。 3. 启动 NFS ```bash systemctl start nfs ``` 三、安装 Keepalived 1. 安装 Keepalived ```bash yum install keepalived -y ``` 2. 配置 Keepalived,修改 `/etc/keepalived/keepalived.conf` 文件,添加以下配置: ```conf ! Configuration File for keepalived global_defs { router_id LVS_DEVEL } vrrp_script chk_nfs { script "/usr/local/bin/chk_nfs.sh" interval 2 } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 101 virtual_ipaddress { 192.168.1.100/24 dev eth0 } track_script { chk_nfs } } ``` 说明: - `router_id`:路由 ID,可以随意设置。 - `vrrp_script`:自定义脚本,用于检测 NFS 服务是否正常。 - `vrrp_instance`:VRRP 实例配置,`state` 为当前节点状态(MASTER 或 BACKUP),`interface` 为节点网卡名称,`virtual_router_id` 为虚拟路由 ID,`priority` 为节点优先级,`virtual_ipaddress` 为虚拟 IP 地址。 3. 创建 NFS 检测脚本 `/usr/local/bin/chk_nfs.sh`,添加以下内容: ```bash #!/bin/bash nfs_status=$(systemctl status nfs | grep "Active:" | awk '{print $2}') if [ "$nfs_status" != "active" ] then exit 1 fi exit 0 ``` 说明:该脚本用于检测 NFS 服务是否正常,如果服务异常则返回 1。 4. 启动 Keepalived ```bash systemctl start keepalived ``` 至此,CentOS7+DRBD+NFS+Keepalived 的搭建已经完成了。您可以通过访问虚拟 IP 地址来访问 NFS 服务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TechingOn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值