OpenShift Origin中的Kubernetes Spark运算符(第1部分)

本系列有关Radanalytics.io的Kubernetes Spark运算符
OpenShift起源 。 它是一个开源的运营商来管理 Apache Spark集群和应用程序。 为了在OpenShift Origin上部署操作员,第一次需要为其克隆GitHub存储库:

git clone https://github.com/radanalyticsio/spark-operator.git

然后使用OpenShift命令行登录到集群
oc

oc login -u <username>:<password>

假设像我和我的团队以前在OpenShift Origin环境中一样,开发人员没有创建CRD的权限,则需要使用Config Maps,因此必须使用
克隆存储库中提供的operator-com.yaml文件:

oc apply -f manifest/operator-cm.yaml


上面命令的输出应类似于以下内容:

serviceaccount/spark-operator created
role.rbac.authorization.k8s.io/edit-resources created
deployment.apps/spark-operator created

成功创建操作员后,您可以尝试创建第一个集群。 选择您要使用的特定项目:

oc project <project_name>

然后使用克隆存储库中可用的ConfigMap的示例文件创建一个小型Spark集群(1个主服务器和2个工作器):

oc apply -f examples/cluster-cm.yaml

这是该文件的内容:

apiVersion: v1
kind: ConfigMap
metadata:
  name: my-spark-cluster
  labels:
    radanalytics.io/kind: SparkCluster
data:
  config: |-
    worker:
      instances: "2"
    master:
      instances: "1"

上面命令的输出是:

configmap/my-spark-cluster created

成功创建集群后,查看OpenShift Web UI,情况应为:

火花运算符

要访问Spark Web UI,您需要为其创建路由。 可以通过OpenShift Origin UI来执行此操作,方法是选择Spark服务,然后单击
路线链接。 一旦创建了路由,就可以从OpenShift外部访问主服务器和工作服务器的Spark Web UI。

火花运算符

现在,您可以使用Spark集群。 您可以通过进入主Pod控制台,在此处启动Scala Spark shell并执行一些代码来开始对其进行测试:

火花运算符

在本系列的第二部分中,我们将在转到Spark应用程序管理之前探索Spark运算符的实现和配置详细信息。

翻译自: https://www.javacodegeeks.com/2019/05/kubernetes-spark-operator-openshift-origin.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值