【阿里云 CDP 公开课】 第二讲：CDH/HDP 何去何从

内容框架：

• CDH/HDP 平台现状
• 为什么选择 CDP
• 怎么到达 CDP
• CDP 测试验证和使用

一、CDH/HDP 平台现状

CDH/HDP 产品公司合并

CDH/HDP 这两个产品比他们的公司在市场上更加广为流传。大部分用户可能只知道 CDH 或者 HDP，而不知道 Cloudera 或者 Hortonworks，实际上 CDH 是 Cloudera 公司的代表产品，HDP 是 Hortonworks 公司的代表产品。两家公司都是围绕着大数据平台去做发行版，他们在2019年1月进行了合并，形成了新的 Cloudera 公司。

合并之后，两家公司的能力也做了一些整合。首先两家公司的平台能力都是围绕着中间的数据工程和数据仓库的，他们都具有大数据平台的存储和计算能力。如上图，绿色的 IoT 互联网是 Hortonworks 另外一款产品提供的能力，主要做实时数据的采集和处理分析。蓝色的是 Cloudera 的另一个产品 CDSW 提供的，来帮助加速机器学习、数据科学的一些应用。这几款产品都可以部署在企业的客户边缘计算、私有云、公有云和混合云上。

两家公司在合并之后，首先把这4个产品进行打通，客户可以根据自己的生态选择从边缘计算到人工智能的处理流程。两家公司合并完成之后，紧接着就进行了产品整合，为什么？

在两家公司合并前，Cloudera 当时有两个主推的大数据平台产品：CDH5 和 CDH6。Hortonworks 有两个主推的平台产品：HDP2 和 HDP3。这两家公司的产品分别对应 Hadoop2 和 Hadoop3 的发行版，合并成新的 Cloudera 之后，一家公司维护4个同质性的平台产品负荷是比较重的，再加上外部技术的发展变化（云计算、计算和存储分离、容器和K8S等），Cloudera 最终选择进行平台整合，形成新的产品 CDP。

CDH/HDP 的产品生命周期

CDP 的全称是 Cloudera Data Platform。Cloudera 公司的 CDP 推出之后，首先支持了 CDH5 和 HDP2 两个平台的直接升级。随着技术的发展，今年也支持了 CDH6 和 HDP3 的直接升级。在 CDP 推出之后，HDP 和 CDH 两个平台都可以迁移升级到 CDP 平台上，两个产品也在逐渐退出市场，产品进入了 EOS 阶段，其中 CDH5 和 HDP2 在2020年12月底已经不再进行售后支持，CDH6 和 HDP3 也分别在2021年底和2022年3月结束它的支持生命周期。

两家公司合并推出 CDP 之后，CDH 和 HDP 产品已经不再增加新的功能，仅是一些维护式的更新，使得已有用户没办法在老的 CDH/HDP 平台上继续获取新的功能和性能提升。

这一张图是 Cloudera 官网给出的 Cloudera 支持的产品生命周期，主要列出了 CDH 和 HDP。其中 Cloudera Enterprise 对应的是 CDH 企业版。可以看到 Cloudera 最新的产品 CDH6 系列和 HDP3 系列，分别在今年年底和明年3月份全部 EOS。老产品CDH5和HDP2也在2020年12月EoS了，不再进行支持。

Cloudera 产品许可证变化

Cloudera 在两家公司合并完之后，将产品许可证也做了一些调整，使得它更加类似于成熟的 Red Hat 的开源模型。

首先，所有的产品源都是符合 OSI 批准的许可证，包括 Apache 的开源许可和 AGPL 的许可证。其次，从2019年11月 Cloudera 再发布的所有产品不再提供社区版，只有企业版，用户需要订阅才能正常使用 Cloudera 发布的产品。但它还是会提供试用版，60天的试用期，使得用户可以做功能的验证和尝试。

从今年1月份开始,Cloudera 还把以前对外公开的 CDH/HDP 所有版本都拿到了 Paywall，使得用户都需要订阅 Cloudera 产品，获取到对应的授权才能下载。

对大家来说，这听起来是一个坏消息，其实也不尽然。为什么那？接下来我们讲来分析一下国内大数据生态的供应商情况。

国内大数据生态挑战

大家对 Hadoop 已经比较熟悉了，大家可以到 Hadoop 官网随便下载和使用，在我们的传统思维中，门槛很低，基本上是免费。但大家只考虑了软件获取成本，而忽略了软件使用成本和后续的运营成本。

据信通院在2019年6月数据整理，当时国内有39家基于 Hadoop 的平台供应商