【容器系统】之 大数据容器化-基于Kubernetes构建现代大数据系统

Apache Spark

在大数据处理与分析领域，Apache Spark无疑占据着重要地位。它的特点是基于内存计算，支持各类资源管理平台，其中以YARN最为常见，同时又与Hadoop平台集成，在集群节点以HDFS作为分布式文件存储系统。

我们可以先看一下搭建一个常见的Apache Spark大数据平台需要哪些步骤：

1.安装Hadoop集群
2.配置HDFS
3.配置YARN
4.安装Spark
5.配置Spark与YARN集成

事实上如果参阅官方文档，还有更多细节检查与配置，有过大数据相关领域从业经验的人都知道，要搭建一套可用的大数据环境并不容易，再加上后期维护，就更吃力了，而一套稳定的大数据平台正是进行大数据应用开发的基础。根据笔者了解，有不少公司正是因为大数据平台搭建及配置的复杂性等原因，不得不在多个测试环境中，共用一套大数据平台，这种方式长期看维护成本较高，也可能存在安全隐患。

大数据领域需要一些变化，而Kubernetes的出现则提供了契机。

Kubernete（以下简称k8s）是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes你可以：

· 快速部署应用
· 快速扩展应用
· 无缝对接新的应用功能
· 节省资源，优化硬件资源的使用

大数据社区

随着K8s社区的发展壮大，微服务及容器化被越来越多的公司应用到生产环境。与此同时，K8s也成为容器编排的首选平台。大数据社区在容器化进程中当然也是不甘落后的。

Spark自2.3开