在Kubernetes上部署Presto

最新推荐文章于 2024-05-23 16:55:32 发布
最新推荐文章于 2024-05-23 16:55:32 发布
阅读量4.1k 收藏 4
点赞数 1
分类专栏： 学习整理 分布式 文章标签： Kubernetes Presto Hive Hadoop Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenleiking/article/details/82493798
版权

在Kubernetes上部署Presto

思路：

  • 以上一篇文章中部署的Hive为基础部署Presto
  • Presto集群包含Coordinator和Worker两类节点，节点类型通过容器环境变量设置
  • 节点node.properties配置文件中不设置node.id，节点挂了由Kubernetes重启拉起一个新节点

1、环境介绍

[root@master-0 ~]# kubectl get nodes -o wide
NAME       STATUS    ROLES     AGE       VERSION           EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
master-0   Ready     master    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
worker-0   Ready     <none>    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
worker-1   Ready     <none>    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
[root@master-0 ~]# kubectl get svc -o wide
NAME                          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE       SELECTOR
hadoop-dn-service             ClusterIP   None            <none>        9000/TCP,50010/TCP,50075/TCP                     19h       app=hadoop-dn
hadoop-nn-service             ClusterIP   None            <none>        9000/TCP,50070/TCP                               19h       app=hadoop-nn
hadoop-ui-service             NodePort    10.233.21.71    <none>        8088:32295/TCP,50070:31127/TCP                   19h       app=hadoop-nn
hive-metadata-mysql-service   NodePort    10.233.23.56    <none>        3306:31470/TCP                                   41m       app=hive-metadata-mysql
hive-service                  NodePort    10.233.60.239   <none>        10000:30717/TCP,10002:30001/TCP,9083:32335/TCP   41m       app=hive
kubernetes                    ClusterIP   10.233.0.1      <none>        443/TCP                                          14d       <none>

2、构建镜像

Presto没有官方镜像，这里我基于Centos 7.5和Presto 0.208制作了自己的镜像，Dockerfile如下：

FROM 192.168.101.88:5000/base/centos:7.5.1804
MAINTAINER leichen.china@gmail.com

ADD jdk-8u151-linux-x64.tar.gz /opt
ADD presto-server-0.208.tar.gz /opt

ENV PRESTO_HOME /opt/presto-server-0.208
ENV JAVA_HOME /opt/jdk1.8.0_151
ENV PATH $JAVA_HOME/bin:$PATH

脚本：docker build -t 192.168.101.88:5000/dmcop2/presto-server:dm-0.208 .

3、部署Presto

  • 启动脚本和Presto配置文件
apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-config-cm
  labels:
    app: presto-coordinator
data:
  bootstrap.sh: |-
    #!/bin/bash

    cd /root/bootstrap

    mkdir -p $PRESTO_HOME/etc/catalog

    cat ./node.properties > $PRESTO_HOME/etc/node.properties
    cat ./jvm.config > $PRESTO_HOME/etc/jvm.config
    cat ./config.properties > $PRESTO_HOME/etc/config.properties
    cat ./log.properties > $PRESTO_HOME/etc/log.properties

    sed -i 's/${COORDINATOR_NODE}/'$COORDINATOR_NODE'/g' $PRESTO_HOME/etc/config.properties

    for cfg in ../catalog/*; do
      cat $cfg > $PRESTO_HOME/etc/catalog/${cfg##*/}
    done

    $PRESTO_HOME/bin/launcher run --verbose
  node.properties: |-
    node.environment=production
    node.data-dir=/var/presto/data
  jvm.config: |-
    -server
    -Xmx16G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
  config.properties: |-
    coordinator=${COORDINATOR_NODE}
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    query.max-memory=10GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://presto-coordinator-service:8080
  log.properties: |-
    com.facebook.presto=INFO

说明：

1、启动脚本执行时，将配置文件覆盖到对应路径，然后根据环境变量COORDINATOR_NODE设置节点类型

2、配置文件config.properties中的discovery.uri设置为coordinator对应的serviceName

  • 配置Hive连接文件
apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-catalog-config-cm
  labels:
    app: presto-coordinator
data:
  hive.properties: |-
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hive-service:9083

说明：

1、配置hive.properties文件，指定Hive的ServiceName和metastore端口

2、文件将被挂载到POD内的Catalog目录

  • 部署Presto容器及服务
apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-coordinator
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-coordinator
  template:
    metadata:
      labels:
        app: presto-coordinator
    spec:
      containers:
        - name: presto-coordinator
          image: 192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "chmod +x /root/bootstrap/bootstrap.sh && /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "true"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 10
            periodSeconds: 5
            httpGet:
              path: /v1/cluster
              port: http-coord
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: presto-coordinator
  name: presto-coordinator-service
spec:
  ports:
    - port: 8080
      targetPort: http-coord
      name: http-coord
  selector:
    app: presto-coordinator
  type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-worker
spec:
  replicas: 2
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-worker
  template:
    metadata:
      labels:
        app: presto-worker
    spec:
      initContainers:
        - name: wait-coordinator
          image:  192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "until curl -sf http://presto-coordinator-service:8080/ui/; do echo 'waiting for coordinator started...'; sleep 2; done;"]
      containers:
        - name: presto-worker
          image: 192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "chmod +x /root/bootstrap/bootstrap.sh && /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "false"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 10
            periodSeconds: 5
            exec:
              command: ["bash", "-c", "curl -s http://presto-coordinator-service:8080/v1/node | tr ',' '\n' | grep -s $(hostname -i)"]
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}

说明：

1、Coordinator和Worker分两个Deployment部署，但是使用同一个ConfigMap进行配置

2、启动脚本bootstrap.sh根据环境变量COORDINATOR_NODE动态修改配置文件

3、Coordinator通过HTTP访问/v1/cluster检查容器是否就绪；Worker通过访问Coordinator服务的/v1/node判断是否包含自己检查容器是否就绪

4、使用Service NodePort对外提供访问

4、测试Presto

  • 访问Web UI
[root@master-0 presto]# kubectl get svc
NAME                          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
hadoop-dn-service             ClusterIP   None            <none>        9000/TCP,50010/TCP,50075/TCP                     19h
hadoop-nn-service             ClusterIP   None            <none>        9000/TCP,50070/TCP                               19h
hadoop-ui-service             NodePort    10.233.21.71    <none>        8088:32295/TCP,50070:31127/TCP                   19h
hive-metadata-mysql-service   NodePort    10.233.23.56    <none>        3306:31470/TCP                                   1h
hive-service                  NodePort    10.233.60.239   <none>        10000:30717/TCP,10002:30001/TCP,9083:32335/TCP   1h
kubernetes                    ClusterIP   10.233.0.1      <none>        443/TCP                                          14d
presto-coordinator-service    NodePort    10.233.50.222   <none>        8080:30418/TCP                                   39s

这里写图片描述

  • 测试Presto客户端连接
[root@master-0 presto]# wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.208/presto-cli-0.208-executable.jar
[root@master-0 presto]# chmod +x presto-cli-0.208-executable.jar 
[root@master-0 presto]# ./presto-cli-0.208-executable.jar --server 192.168.112.240:30418 --catalog hive --schema default
presto:default> select * from abc;
 a 
---
 1 
(1 row)

Query 20180907_030117_00002_bmkxf, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:03 [1 rows, 2B] [0 rows/s, 0B/s]

presto:default>

这里写图片描述

  • 伸缩
[root@master-0 presto]# kubectl get deployment
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
hive                  1         1         1            1           1h
hive-metadata-mysql   1         1         1            1           1h
presto-coordinator    1         1         1            1           21m
presto-worker         2         2         2            2           21m
[root@master-0 presto]# kubectl scale deployment presto-worker --replicas=3
deployment "presto-worker" scaled
[root@master-0 presto]# kubectl get deployment
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
hive                  1         1         1            1           1h
hive-metadata-mysql   1         1         1            1           1h
presto-coordinator    1         1         1            1           23m
presto-worker         3         3         3            3           23m

这里写图片描述

5、注意事项

  • 配置文件中没有指定node.id，日志中输出值为null，目前测试运行正常，不确定是否存在潜在问题

6、参考资料

presto-on-k8s-operator
03-20
注意 该存储库已移至 在那里将提供新功能，错误修复和长期支持。 介绍 该仓库用于在Kubernetes中创建Presto集群。 基本功能 根据用户的CR自动创建Presto协调器，工作程序，服务和配置图。 Presto的etc config，catalog 和core-site.xml都集成在PrestoClusters的CR中，请参考samplae 。 运行和部署 # Run in local make install make run # Deploy to the Kubernetes kubectl apply -f config/crd/bases/prestooperator.k8s.io_prestoclusters.yaml kubectl apply -f setup/operator.yaml 快速开始 kubectl apply -f config/samples
大数据架构师硬实战之基于Presto搭建企业级数据平台
04-07
课程围绕presto介绍如何搭建企业级的数据平台。内容包括presto账号权限体系构建，可视化平台整合，从零开始在k8s上部署Presto集群，以及基于OSS低成本搭建数仓等等。本课程内容来自于真实的生产环境，并对生产环境进行了高度还原，非常值得大家去学习。
Presto on Kubernetes
01-09 1608
成功加入集群 问题记录 问题1，域名没有发现。应该是 coredns 的问题 discovery.uri=http://presto-coordinator-service:8080 修改为 discovery.uri=http://10.100.218.11:8080 全域名 nslookup nginx-service nslookup presto-coordinator-service nslookup nginx-service nslookup presto-coordinator-ser
技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署
Alluxio的博客
10-11 1089
Presto是开源分布式SQL查询引擎，可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源，允许跨源查询。
kubernetes-HDFS, 在Kubernetes中，保存用于运行HDFS集群的配置文件的存储库.zip
09-17
kubernetes-HDFS, 在Kubernetes中，保存用于运行HDFS集群的配置文件的存储库 版式标题全局Kubernetes上的HDFSKubernetes上的存储在Kubernetes上的Hadoop分布式文件系统( HDFS )的存储库。有关如何运行图表的信息，请...
Serverless Kubernetes技术发展趋势分析.pdf
10-16
6. **网络互通性**：在Serverless Kubernetes中，ECI（Elastic Container Instance）与ECS（Elastic Compute Service）可以混合部署，允许Pod间互联互通，支持ClusterIP，方便服务发现和负载均衡。 7. **兼容性和...
Serverless Kubernetes技术发展趋势分析.pptx
10-16
Serverless Kubernetes技术是一种新兴的解决方案，它将Serverless架构与Kubernetes容器编排平台相结合，旨在简化云原生应用的部署和管理。该技术的核心理念是让用户关注于应用本身，而不是底层基础设施，从而实现更...
【容器系统】之大数据容器化-基于Kubernetes构建现代大数据系统.pdf
12-24
为了解决这个问题，Google推出了Spark Operator，这是一个基于K8s Operator模式的工具，用户可以通过声明式方式管理Spark作业的全生命周期，简化Spark应用在K8s上的部署和管理。 Spark Operator的工作流程包括通过...
presto on kubernetes-present
12-17
presto on kubernetes介绍
基于presto的工具，使用sql查询kubernetes的资源，如pod、节点等。- xuxinkun / kubesql
01-27
kubesql kubesql is a tool to use sql to query the resources of kubernetes. The resources of kubernetes such as nodes, pods and so on are handled as tables. For example, all pods are easily to list from apiserver. But the number of pods on each node is not easy to caculate. presto:kubesql> select nodename, count(*) as pod_count from pods group by nodename; nodename | pod_count --------------
【云原生】Presto/Trino on k8s 环境部署
因上努力，果上随缘。但行好事，莫问前程。
10-24 638
Presto是Facebook开源的MPP（Massively Parallel Processing：大规模并行处理）架构的OLAP（on-line transaction processing：联机事务处理），完全基于内存的并⾏计算，可针对不同数据源，执行大容量数据集的一款分布式SQL交互式查询引擎。它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。和PrestoSQL现在改名为。
k8s部署presto
最新发布
小白白的博客
05-23 831
这个报错的原因是没有装less，是presto用来分页的工具，在初始化脚本里已添加了，加上之后就没问题了。虽然能正常使用presto了，但是k8s中显示presto-worker的deployment有BUG，，自己打包也可以，自己写个dockerfile。jdk用的华为的镜像源，不用登录oracle。启动脚本和Presto配置文件。，应该是健康检查出了问题。，记得在环境变量里加上。配置Hive连接文件。
Presto worker发现机制 (on k8s)
石权的博客
09-21 2270
1. Presto依靠apache airlift实现服务发现； 2. worker上配置有discovery.uri， 指定了discovery服务的地址，也就是各node汇报自己信息的目的地址； 3. worker上配置有本节点的信息，可以改成域名，可自定义； 4. airlift将节点信息汇报称为Announce，源码中discovery模块，有服务定时announce的逻辑代码； 5. announce的方法可以从类“**HttpDiscoveryAnnouncementClient**”中发现，通
presto catalog 动态加载
帆了个帆的专栏
08-10 4212
最近我们在尝试在k8s上部署presto，现在有一个比较难处理的问题就是：presto的catalog的出现变更的时候（增，删，改），只能重新打包镜像，进行滚动升级；而比较理想的方式是：presto的catalog可以动态的增删改，只在presto版本升级的时候才进行镜像发版； 目前公司catalog主要有hive，mysql，kudu这3种类别；hive和kudu的catalog几乎不存在变更的情况，所以我们只需要考虑mysql连接器的变更需求； 实现presto catalog的动态加载有两种比较简
presto性能测试
09-06
在进行Presto性能测试的过程中，出现了一些问题导致Kubernetes部署的Presto集群无法发挥出完全的性能，与物理机部署的Presto集群相比存在较大差距。这些问题主要包括节点分配不均等。为了解决这些问题，可以采取一些措施来优化性能。 传统方式部署Presto集群是以物理机的方式运行，而在Kubernetes上部署Presto集群是以容器的方式运行。尽管Kubernetes部署方式带来了很多优点，但容器方式和物理机方式的性能差异仍是未知的。因此，需要进行对比测试来评估两种不同部署方式的性能差异。 根据测试结果来看，在不同的查询分类中，Kubernetes部署的Presto集群的平均查询时间稍微短于物理机部署，两者的时间差基本保持在几秒之间。需要考虑到本次测试环境部署在云服务器上，不同时段使用云服务器会导致性能偏差，因此几秒钟的性能波动是可以接受的。排除了云服务器产生的波动后，可以得出结论，Kubernetes部署与物理机部署的Presto集群在性能和效率上几乎没有差别。所以对于不同类型的查询，Kubernetes部署的Presto集群与物理机部署相比，在查询速度上几乎没有性能损耗，性能和效率几乎没有损失。 综上所述，通过对比测试可以得出结论，Presto在Kubernetes环境下的性能表现良好，并且与传统的物理机部署方式相比几乎没有性能损耗。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署](https://blog.csdn.net/Alluxio/article/details/127260337)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值