一、部署WeDataSphere开源大数据平台的难点
您是否为搭建包含Hadoop、Hive、Spark等基础计算存储引擎的WeDataSphere(以下简称WDS)开源大数据平台套件而烦恼?是否希望能有一种简单快捷的方式来完成所有组件的部署和试用?
如果您也曾遇到WeDataSphere开源大数据平台套件的部署试用问题,那么现在我们有了一个令人振奋的消息!
WDS ALL IN ONE 容器化版本诞生啦。(推荐 for 演示/开发环境)
**
**
WDS ALL IN ONE(以下简称WDS容器化版本)是基于Docker构建的WeDataSphere开源大数据平台套件快速部署&试用解决方案,集成了Hadoop、Spark、Hive、Flink、MySQL等基础组件,以及WeDataSphere已开源的各个组件如:DataSphere Studio、Apache Linkis、Schedulis、Qualitis、Visualis和Exchangis等。
它让我们可以30分钟内快速完成全套大数据平台套件的部署和启动,并内置了DEMO项目方便大家快速尝鲜体验WeDataSphere已开源组件的全部功能特性。
二、WDS容器化版本
**WeDataSphere是一套一站式、金融级、全连通、开源开放的大数据平台套件。**从建设之初就确立了开源+自研的研发路径,依托开源社区力量共建金融级大数据平台能力。
当前已具备了数据开发应用管理的完备能力,形成了一个“434”阵型:
1、前场,是数据分析、数据治理、机器学习和运营管理 4 大功能工具工场,能够提供完整的数据+AI应用开发管理工具集。
2、中场,是计算中间件、元数据中间件和微前端中间件;做到承上启下,提供连通、管控、扩展、复用等独有的中间件能力。简化平台整体架构,降低开发运维成本。
3、后场,是批量计算、交互式计算、流式计算和复杂计算 4 大基础计算存储模块。提供面向各场景的基础计算存储能力。

GitHub:https://github.com/WeBankFinTech/WeDataSphere
**WDS容器化版本是由Docker构建的一个能够让用户在半小时内完成所有组件安装部署并使用的镜像包。**无需再去部署Hadoop等基础组件,也不需要部署WDS的各功能组件,即可让您快速体验 WDS 所有开源组件的能力,包括 DataSphere Studio 的数据应用开发能力,Apache Linkis的计算能力,Schedulis的任务调度能力,Qualitis的数据质量检测能力,Visualis的可视化能力和Exchangis的数据转换能力。
**只需一台内存大小为32G、磁盘大小为100G的服务器,并且操作系统为CentOS或Red Hat,您就能够根据我们提供的部署文档快速完成部署。**通过使用预先构建的Docker镜像包,您无需繁琐地安装和配置各个组件,节省了宝贵的时间和精力。
WDS容器化版本的优势不仅在于快速部署,还在于其灵活性和扩展性。您可以根据实际需求,灵活选择和配置所需的组件,试用属于自己的大数据平台。同时,我们提供了各组件升级文档,能够轻松完成升级和维护。通过使用WDS容器化版本,您可以快速部署和试用一个强大和高效的大数据平台。
不过由于该容器化版本Hadoop等基础组件均是单节点形式部署在容器中,因此稳定性较差,不推荐用于生产。
三、Docker镜像中包含的组件

四、下载使用
1、镜像包
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/wedatasphere.tar.gz
2、WeDataSphere组件容器化部
为让用户能够快速体验WeDataSphere所有组件,我们提供一个使用Docker构建的镜像包,里面包括基础组件Hadoop, Spark, Hive, Flink, MySQL。WeDataSphere的组件有DSS,Linkis,Schedulis, Qualitis, Visualis, Exchangis。您只需要准备一台内存大小为32G,磁盘100G的机器,系统推荐使用CentOS或Red Hat,不推荐Ubuntu。按照如下步骤操作就能够在半小时内完成所有服务的部署与使用。
1)、准备工作
- 需要准备一台内存大小最少为32G,磁盘大小约为100G的服务器,部署前请确保该服务器上无其他服务在运行,以避免端口冲突
- 将Docker安装在服务器
#1.下载docker依赖环境
yum -y install
WeDataSphere ALL IN ONE容器化版本提供了一键部署大数据平台套件的解决方案,包括Hadoop、Spark等组件。该版本基于Docker,可在30分钟内完成所有组件的部署和启动,适用于演示和开发环境。用户仅需32G内存和100G磁盘的服务器即可快速体验WeDataSphere的DataSphere Studio、Apache Linkis等组件功能。容器化版本简化了部署流程,但不适用于生产环境,且Hadoop等基础组件为单节点部署,稳定性有限。
最低0.47元/天 解锁文章

2345

被折叠的 条评论
为什么被折叠?



