kubernetes中搭建spark集群 (一)

最新推荐文章于 2024-01-28 14:32:25 发布

weixin_34387468

最新推荐文章于 2024-01-28 14:32:25 发布

阅读量174

点赞数

文章标签：大数据 ui 运维

原文链接：https://my.oschina.net/blueyuquan/blog/1593060

版权

2019独角兽企业重金招聘Python工程师标准>>>

适用场景：linux系统，已经搭建好kubernetes1.4及以上的集群，没有配置CA等认证,已经搭建DNS,其它情景仅作参考。
如果还没有搭建DNS,请参考kubernetes中部署DNS搭建。
相关的yaml文件已经上传到本人的github，需要用到的国外镜像也一并被我替换成了阿里云镜像，可直接下载使用

1.创建spark的namespaces

a.介绍：

Kubernetes通过命名空间，将底层的物理资源划分成若干个逻辑的“分区”，而后续所有的应用、容器都是被部署在一个具体的命名空间里。每个命名空间可以设置独立的资源配额，保证不同命名空间中的应用不会相互抢占资源。此外，命名空间对命名域实现了隔离，因此两个不同命名空间里的应用可以起同样的名字。

文件namespace-spark-cluster.yaml内容：

apiVersion: v1
kind: Namespace
metadata:
  name: "spark-cluster"
  labels:
    name: "spark-cluster"

其中规定了一个命名空间名为："spark-cluster"

b.创建

$ kubectl create -f namespace-spark-cluster.yaml

c.使用该Namespace: (${CLUSTER_NAME}和${USER_NAME}可在kubeconfig文件中查看)

$ kubectl config set-context spark --namespace=spark-cluster --cluster=${CLUSTER_NAME} --user=${USER_NAME}
$ kubectl config use-context spark

这样接下来创建的Pod和service（或任意资源）都是在这个命名空间（spark-cluster）下了

2.创建spark-master的Rc

a.文件spark-master-controller.yaml内容：

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-master-controller
spec:
  replicas: 1
  selector:
    component: spark-master
  template:
    metadata:
      labels:
        component: spark-master
    spec:
      containers:
        - name: spark-master
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark:1.5.2_v1
          command: ["/start-master"]
          ports:
            - containerPort: 7077
            - containerPort: 8080
          resources:
            requests:
              cpu: 100m

其中镜像已经替换成了阿里云镜像，可直接下载使用

b.创建

$ kubectl create -f spark-master-controller.yaml

c.查看验证

$ kubectl get pods |grep spark-master
spark-master-controller-rz1hd     1/1       Running            0          5h

已经running！
再查看master的日志看是否有报错的问题：

$ kubectl logs spark-master-controller-rz1hd -n spark-cluster
17/12/20 07:30:36 INFO Master: Registered signal handlers for [TERM, HUP, INT]
17/12/20 07:30:37 INFO SecurityManager: Changing view acls to: root
17/12/20 07:30:37 INFO SecurityManager: Changing modify acls to: root
17/12/20 07:30:37 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/12/20 07:30:38 INFO Slf4jLogger: Slf4jLogger started
17/12/20 07:30:38 INFO Remoting: Starting remoting
17/12/20 07:30:38 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkMaster@spark-master:7077]
17/12/20 07:30:38 INFO Utils: Successfully started service 'sparkMaster' on port 7077.
17/12/20 07:30:38 INFO Master: Starting Spark master at spark://spark-master:7077
17/12/20 07:30:38 INFO Master: Running Spark version 1.5.2
17/12/20 07:30:39 INFO Utils: Successfully started service 'MasterUI' on port 8080.
17/12/20 07:30:39 INFO MasterWebUI: Started MasterWebUI at http://10.1.24.4:8080
17/12/20 07:30:39 INFO Utils: Successfully started service on port 6066.
17/12/20 07:30:39 INFO StandaloneRestServer: Started REST server for submitting applications on port 6066
17/12/20 07:30:39 INFO Master: I have been elected leader! New state: ALIVE

从日志中可以看出spark的master已经创建成功并成功成为leader和开放了8080端口作为Master的UI

3.创建spark-master的sercives

a.文件spark-master-service.yaml内容

kind: Service
apiVersion: v1
metadata:
  name: spark-master
spec:
  ports:
    - port: 7077
      targetPort: 7077
      name: spark
    - port: 8080
      targetPort: 8080
      name: http
  selector:
    component: spark-master

b.创建

$ kubectl create -f spark-master-service.yaml

c.查看验证

$ kubectl get svc |grep spark-master
spark-master     192.168.3.239   <none>        7077/TCP,8080/TCP   5h

4.创建spark-worker的Rc

a.文件spark-worker-controller.yaml内容

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-worker-controller
spec:
  replicas: 3
  selector:
    component: spark-worker
  template:
    metadata:
      labels:
        component: spark-worker
    spec:
      containers:
        - name: spark-worker
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark:1.5.2_v1 
          command: ["/start-worker"]
          ports:
            - containerPort: 8081
          resources:
            requests:
              cpu: 100m

其中镜像已经替换成了阿里云镜像，可直接下载使用
定义了3个worker节点，实际需要多少个可以直接修改replicas:
cpu和mem也可根据实际需要进行修改

b.创建

$ kubectl create -f spark-worker-controller.yaml

c.查看验证

$ kubectl get pods |grep spark-work
spark-worker-controller-djk50     1/1       Running            0          2h
spark-worker-controller-qf1p3     1/1       Running            0          3h
spark-worker-controller-w0kzw     1/1       Running            0          3h