过往记忆大数据 USDP 实测搭建，可替代CDH的免费大数据套件平台

在过去几年，Cloudera 和 Hortonworks 两家大数据先驱公司分别为我们提供了 CDP（Cloudera Data Platform）和 HDP（Hortonworks Data Platform）两款企业级 Hadoop 解决方案，其都提供了部署、管理、监控以及运维大数据服务组件和节点的能力，大大提升了大数据运维工程师的效率。但是随着 Cloudera 和 Hortonworks 两家公司的合并，以及一些战略上的变化。Cloudera 从早些时候的 CDH 6.3.3 以后再无免费社区版本，到2021年1月31日开始，所有 Cloudera 软件都需要有效的订阅进行访问！这无疑给我们大数据工程师带来一些影响。

在此背景下，UCloud 基于多年大数据平台开发经验，在不久前正式发布了针对私有化部署场景下的一站式智能大数据平台 USDP 免费版《继CDH收费之后，这家公司率先推出了免费版大数据套件服务！》。USDP 系列版本支持 HDFS、Kudu、ES 全生态，且后续会持续扩充其他服务、组件的支持，助力企业提升大数据开发、运维效率，快速构建大数据业务的分析处理能力。

本文将给大家介绍一下 USDP 免费版的安装部署过程，希望能够给大家一些帮助。

环境准备

我们从 USDP 提供的资料可以看出，USDP 平台包括 Manager Node 和 Worker Node。Manager Node 中比较重要的服务是 Manager Server，其为 USDP 管理端服务，需配备一个 MySQL 实例存储集群相关的元数据信息。Worker Node 中比较重要的组件是 Agent，其为 USDP 从节点控制端服务，用于管理、操作所在节点以及所在节点上的大数据服务。其中 BigData Service 为各类大数据服务（例如：HDFS、YARN等）。一般生产环境的部署架构如下所示：

从上图可以看出，USDP 平台需要我们提供最少三个节点的集群。而且系统必须为 CentOS，需要是 7.2 到 7.6 之间的版本 ，因为 USDP 需要从操作系统中获取一些信息来正常运行 USDP 平台。这里我用了三台节点，每台节点都是8c32g，500G数据盘，各个节点部署的服务如下：

下载和设置 USDP

确定了集群的规模之后，我们就可以下载 USDP 免费版的安装包了。可以通过下面的链接进行下载： https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz 这个文件比较大，大约有43G左右，所以下载大概需要数小时不等。

下载完之后，我们将其解压，解压后的文件如下：

[root@node1 usdp-1.0.0]# ll
总用量 44686388
-rw-r--r-- 1 root root 20491532904 2月   1 18:57 epel.tgz
-rw-r--r-- 1 root root     3077630 2月   1 18:56 httpd-rpms.tar.gz
-rw-r--r-- 1 root root 16897158731 2月   1 18:56 mirror.tgz
-rw-r--r-- 1 root root  8367086414 5月  15 13:19 usdp-01-master-privatization-free-1.0.0.0.tar.gz

•usdp-01-master-privatization-free-1.0.0.0.tar.gz：是 USDP 主程序与大数据服务资源包•httpd-rpms.tar.gz 、mirror.tgz：是 USDP 离线 yum 基础源资源包•epel.tgz：是 USDP 离线 yum 扩展源资源包

为了后面部署的方便，我们分别创建 /opt/usdp-srv/ 和 /data 文件夹，将 epel.tgz、httpd-rpms.tar.gz 以及 mirror.tgz 移到 /data 文件夹，usdp-01-master-privatization-free-1.0.0.0.tar.gz 移到 /opt/usdp-srv/ 文件夹。并且把 usdp-01-master-privatization-free-1.0.0.0.tar.gz 文件分发到所有 USDP 节点上。

我们到 /opt/usdp-srv/ 目录，解压 usdp-01-master-privatization-free-1.0.0.0.tar.gz 文件（其他节点也都去解压），可以得到如下的目录结构：

[root@node1 usdp-srv]# tar -zxf usdp-01-master-privatization-free-1.0.0.0.tar.gz
[root@node1 usdp-srv]# cd usdp/
[root@node1 usdp]# ls -l
总用量 4
drwxr-xr-x 2 root root   33 5月  14 12:06 agent
drwxr-xr-x 2 root root  136 5月  14 12:07 bin
drwxr-xr-x 2 root root   65 5月  14 12:06 config
drwxr-xr-x 2 root root  137 12月 16 2020 jmx_exporter
drwxr-xr-x 2 root root   35 5月  14 12:06 recommend
drwxr-xr-x 6 root root   59 5月  14 12:06 repair
drwxr-xr-x 3 root root   21 4月  20 16:21 repository
drwxr-xr-x 2 root root 4096 12月 16 2020 scripts
drwxr-xr-x 2 root root   34 5月  14 12:07 server
drwxr-xr-x 2 root root   29 5月  14 15:03 sql
drwxr-xr-x 3 root root   21 5月  14 12:06 templated
drwxr-xr-x 2 root root    6 12月 16 2020 verify
drwxr-xr-x 2 root root   29 5月  14 12:06 versions

上面的各个目录解释如下：

•agent：USDP 分布式客户端程序•bin：