在Kubernetes上部署Presto

最新推荐文章于 2024-05-23 16:55:32 发布
最新推荐文章于 2024-05-23 16:55:32 发布
阅读量4.1k 收藏 4
点赞数 1
分类专栏： 学习整理 分布式 文章标签： Kubernetes Presto Hive Hadoop Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenleiking/article/details/82493798
版权

在Kubernetes上部署Presto

思路：

  • 以上一篇文章中部署的Hive为基础部署Presto
  • Presto集群包含Coordinator和Worker两类节点，节点类型通过容器环境变量设置
  • 节点node.properties配置文件中不设置node.id，节点挂了由Kubernetes重启拉起一个新节点

1、环境介绍

[root@master-0 ~]# kubectl get nodes -o wide
NAME       STATUS    ROLES     AGE       VERSION           EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
master-0   Ready     master    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
worker-0   Ready     <none>    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
worker-1   Ready     <none>    14d       v1.9.2+coreos.0   <none>        CentOS Linux 7 (Core)   3.10.0-862.el7.x86_64   docker://1.13.1
[root@master-0 ~]# kubectl get svc -o wide
NAME                          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE       SELECTOR
hadoop-dn-service             ClusterIP   None            <none>        9000/TCP,50010/TCP,50075/TCP                     19h       app=hadoop-dn
hadoop-nn-service             ClusterIP   None            <none>        9000/TCP,50070/TCP                               19h       app=hadoop-nn
hadoop-ui-service             NodePort    10.233.21.71    <none>        8088:32295/TCP,50070:31127/TCP                   19h       app=hadoop-nn
hive-metadata-mysql-service   NodePort    10.233.23.56    <none>        3306:31470/TCP                                   41m       app=hive-metadata-mysql
hive-service                  NodePort    10.233.60.239   <none>        10000:30717/TCP,10002:30001/TCP,9083:32335/TCP   41m       app=hive
kubernetes                    ClusterIP   10.233.0.1      <none>        443/TCP                                          14d       <none>

2、构建镜像

Presto没有官方镜像，这里我基于Centos 7.5和Presto 0.208制作了自己的镜像，Dockerfile如下：

FROM 192.168.101.88:5000/base/centos:7.5.1804
MAINTAINER leichen.china@gmail.com

ADD jdk-8u151-linux-x64.tar.gz /opt
ADD presto-server-0.208.tar.gz /opt

ENV PRESTO_HOME /opt/presto-server-0.208
ENV JAVA_HOME /opt/jdk1.8.0_151
ENV PATH $JAVA_HOME/bin:$PATH

脚本：docker build -t 192.168.101.88:5000/dmcop2/presto-server:dm-0.208 .

3、部署Presto

  • 启动脚本和Presto配置文件
apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-config-cm
  labels:
    app: presto-coordinator
data:
  bootstrap.sh: |-
    #!/bin/bash

    cd /root/bootstrap

    mkdir -p $PRESTO_HOME/etc/catalog

    cat ./node.properties > $PRESTO_HOME/etc/node.properties
    cat ./jvm.config > $PRESTO_HOME/etc/jvm.config
    cat ./config.properties > $PRESTO_HOME/etc/config.properties
    cat ./log.properties > $PRESTO_HOME/etc/log.properties

    sed -i 's/${COORDINATOR_NODE}/'$COORDINATOR_NODE'/g' $PRESTO_HOME/etc/config.properties

    for cfg in ../catalog/*; do
      cat $cfg > $PRESTO_HOME/etc/catalog/${cfg##*/}
    done

    $PRESTO_HOME/bin/launcher run --verbose
  node.properties: |-
    node.environment=production
    node.data-dir=/var/presto/data
  jvm.config: |-
    -server
    -Xmx16G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
  config.properties: |-
    coordinator=${COORDINATOR_NODE}
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    query.max-memory=10GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://presto-coordinator-service:8080
  log.properties: |-
    com.facebook.presto=INFO

说明：

1、启动脚本执行时，将配置文件覆盖到对应路径，然后根据环境变量COORDINATOR_NODE设置节点类型

2、配置文件config.properties中的discovery.uri设置为coordinator对应的serviceName

  • 配置Hive连接文件
apiVersion: v1
kind: ConfigMap
metadata:
  name: presto-catalog-config-cm
  labels:
    app: presto-coordinator
data:
  hive.properties: |-
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hive-service:9083

说明：

1、配置hive.properties文件，指定Hive的ServiceName和metastore端口

2、文件将被挂载到POD内的Catalog目录

  • 部署Presto容器及服务
apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-coordinator
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-coordinator
  template:
    metadata:
      labels:
        app: presto-coordinator
    spec:
      containers:
        - name: presto-coordinator
          image: 192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "chmod +x /root/bootstrap/bootstrap.sh && /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "true"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 10
            periodSeconds: 5
            httpGet:
              path: /v1/cluster
              port: http-coord
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: presto-coordinator
  name: presto-coordinator-service
spec:
  ports:
    - port: 8080
      targetPort: http-coord
      name: http-coord
  selector:
    app: presto-coordinator
  type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: presto-worker
spec:
  replicas: 2
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: presto-worker
  template:
    metadata:
      labels:
        app: presto-worker
    spec:
      initContainers:
        - name: wait-coordinator
          image:  192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "until curl -sf http://presto-coordinator-service:8080/ui/; do echo 'waiting for coordinator started...'; sleep 2; done;"]
      containers:
        - name: presto-worker
          image: 192.168.101.88:5000/dmcop2/presto-server:dm-0.208
          command: ["bash", "-c", "chmod +x /root/bootstrap/bootstrap.sh && /root/bootstrap/bootstrap.sh"]
          ports:
            - name: http-coord
              containerPort: 8080
              protocol: TCP
          env:
            - name: COORDINATOR_NODE
              value: "false"
          volumeMounts:
            - name: presto-config-volume
              mountPath: /root/bootstrap
            - name: presto-catalog-config-volume
              mountPath: /root/catalog
            - name: presto-data-volume
              mountPath: /var/presto/data
          readinessProbe:
            initialDelaySeconds: 10
            periodSeconds: 5
            exec:
              command: ["bash", "-c", "curl -s http://presto-coordinator-service:8080/v1/node | tr ',' '\n' | grep -s $(hostname -i)"]
      volumes:
        - name: presto-config-volume
          configMap:
            name: presto-config-cm
        - name: presto-catalog-config-volume
          configMap:
            name: presto-catalog-config-cm
        - name: presto-data-volume
          emptyDir: {}

说明：

1、Coordinator和Worker分两个Deployment部署，但是使用同一个ConfigMap进行配置

2、启动脚本bootstrap.sh根据环境变量COORDINATOR_NODE动态修改配置文件

3、Coordinator通过HTTP访问/v1/cluster检查容器是否就绪；Worker通过访问Coordinator服务的/v1/node判断是否包含自己检查容器是否就绪

4、使用Service NodePort对外提供访问

4、测试Presto

  • 访问Web UI
[root@master-0 presto]# kubectl get svc
NAME                          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
hadoop-dn-service             ClusterIP   None            <none>        9000/TCP,50010/TCP,50075/TCP                     19h
hadoop-nn-service             ClusterIP   None            <none>        9000/TCP,50070/TCP                               19h
hadoop-ui-service             NodePort    10.233.21.71    <none>        8088:32295/TCP,50070:31127/TCP                   19h
hive-metadata-mysql-service   NodePort    10.233.23.56    <none>        3306:31470/TCP                                   1h
hive-service                  NodePort    10.233.60.239   <none>        10000:30717/TCP,10002:30001/TCP,9083:32335/TCP   1h
kubernetes                    ClusterIP   10.233.0.1      <none>        443/TCP                                          14d
presto-coordinator-service    NodePort    10.233.50.222   <none>        8080:30418/TCP                                   39s

这里写图片描述

  • 测试Presto客户端连接
[root@master-0 presto]# wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.208/presto-cli-0.208-executable.jar
[root@master-0 presto]# chmod +x presto-cli-0.208-executable.jar 
[root@master-0 presto]# ./presto-cli-0.208-executable.jar --server 192.168.112.240:30418 --catalog hive --schema default
presto:default> select * from abc;
 a 
---
 1 
(1 row)

Query 20180907_030117_00002_bmkxf, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:03 [1 rows, 2B] [0 rows/s, 0B/s]

presto:default>

这里写图片描述

  • 伸缩
[root@master-0 presto]# kubectl get deployment
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
hive                  1         1         1            1           1h
hive-metadata-mysql   1         1         1            1           1h
presto-coordinator    1         1         1            1           21m
presto-worker         2         2         2            2           21m
[root@master-0 presto]# kubectl scale deployment presto-worker --replicas=3
deployment "presto-worker" scaled
[root@master-0 presto]# kubectl get deployment
NAME                  DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
hive                  1         1         1            1           1h
hive-metadata-mysql   1         1         1            1           1h
presto-coordinator    1         1         1            1           23m
presto-worker         3         3         3            3           23m

这里写图片描述

5、注意事项

  • 配置文件中没有指定node.id，日志中输出值为null，目前测试运行正常，不确定是否存在潜在问题

6、参考资料

迷途的攻城狮（798570156）
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto-on-k8s-operator
03-20
注意 该存储库已移至 在那里将提供新功能，错误修复和长期支持。 介绍 该仓库用于在Kubernetes中创建Presto集群。 基本功能 根据用户的CR自动创建Presto协调器，工作程序，服务和配置图。 Presto的etc config，catalog 和core-site.xml都集成在PrestoClusters的CR中，请参考samplae 。 运行和部署 # Run in local make install make run # Deploy to the Kubernetes kubectl apply -f config/crd/bases/prestooperator.k8s.io_prestoclusters.yaml kubectl apply -f setup/operator.yaml 快速开始 kubectl apply -f config/samples
Presto on Kubernetes
01-09 1597
成功加入集群 问题记录 问题1，域名没有发现。应该是 coredns 的问题 discovery.uri=http://presto-coordinator-service:8080 修改为 discovery.uri=http://10.100.218.11:8080 全域名 nslookup nginx-service nslookup presto-coordinator-service nslookup nginx-service nslookup presto-coordinator-ser
k8s部署presto
最新发布
小白白的博客
05-23 786
这个报错的原因是没有装less，是presto用来分页的工具，在初始化脚本里已添加了，加上之后就没问题了。虽然能正常使用presto了，但是k8s中显示presto-worker的deployment有BUG，，自己打包也可以，自己写个dockerfile。jdk用的华为的镜像源，不用登录oracle。启动脚本和Presto配置文件。，应该是健康检查出了问题。，记得在环境变量里加上。配置Hive连接文件。
【presto on kubernates】presto on kubernates解决方案2
你的博客
04-02 7761
同上篇文章，上篇文章使用了两个镜像presto coordinator和worker，这篇文章展示只用一个镜像，并且动态配置presto参数的情况 一。 镜像打包 首先删除presto中内存参数，jvm参数的设置文件。保留hive的链接文件（这里hive的链接也可以配置动态，因为hive的链接不会经常变动，所以直接打在镜像里） 接下去编写Dockerfile,与前面类似 FROM python MAINTAINER 682556 RUN useradd --create-home -.
【云原生】Presto/Trino on k8s 环境部署
匠人精神，持之以恒！
10-03 1841
Presto是Facebook开源的MPP（Massively Parallel Processing：大规模并行处理）架构的OLAP（on-line transaction processing：联机事务处理），完全基于内存的并⾏计算，可针对不同数据源，执行大容量数据集的一款分布式SQL交互式查询引擎。它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。PrestoDB（背靠Facebook）和PrestoSQL现在改名为。
kubernetes-HDFS, 在Kubernetes中，保存用于运行HDFS集群的配置文件的存储库.zip
09-17
kubernetes-HDFS, 在Kubernetes中，保存用于运行HDFS集群的配置文件的存储库 版式标题全局Kubernetes上的HDFSKubernetes上的存储在Kubernetes上的Hadoop分布式文件系统( HDFS )的存储库。有关如何运行图表的信息，请...
Serverless Kubernetes技术发展趋势分析.pdf
10-16
6. **网络互通性**：在Serverless Kubernetes中，ECI（Elastic Container Instance）与ECS（Elastic Compute Service）可以混合部署，允许Pod间互联互通，支持ClusterIP，方便服务发现和负载均衡。 7. **兼容性和...
Serverless Kubernetes技术发展趋势分析.pptx
10-16
Serverless Kubernetes技术是一种新兴的解决方案，它将Serverless架构与Kubernetes容器编排平台相结合，旨在简化云原生应用的部署和管理。该技术的核心理念是让用户关注于应用本身，而不是底层基础设施，从而实现更...
【容器系统】之大数据容器化-基于Kubernetes构建现代大数据系统.pdf
12-24
为了解决这个问题，Google推出了Spark Operator，这是一个基于K8s Operator模式的工具，用户可以通过声明式方式管理Spark作业的全生命周期，简化Spark应用在K8s上的部署和管理。 Spark Operator的工作流程包括通过...
基于presto的工具，使用sql查询kubernetes的资源，如pod、节点等。- xuxinkun / kubesql
01-27
kubesql kubesql is a tool to use sql to query the resources of kubernetes. The resources of kubernetes such as nodes, pods and so on are handled as tables. For example, all pods are easily to list from apiserver. But the number of pods on each node is not easy to caculate. presto:kubesql> select nodename, count(*) as pod_count from pods group by nodename; nodename | pod_count --------------
presto on kubernetes-present
12-17
presto on kubernetes介绍
【presto on kubernates】presto on kubernates解决方案
你的博客
03-09 8288
最近研究了kebernates的弹性计算HPA，可以根据CPU和Memory的阈值设定弹出pod的数量。HPA研究过后，组内建议是否可以将presto部署到kubernates集群上，于是便开始着手部署presto到kubernates。 一 presto镜像打包 镜像打包我分开了coordinate和worker两个镜像 coordinate镜像打包: 打包presto 首先找一个presto的部署包，我之前在测试环境部署了一个presto 0.220，1个master（主节点也充当work.
Presto worker发现机制 (on k8s)
石权的博客
09-21 2261
1. Presto依靠apache airlift实现服务发现； 2. worker上配置有discovery.uri， 指定了discovery服务的地址，也就是各node汇报自己信息的目的地址； 3. worker上配置有本节点的信息，可以改成域名，可自定义； 4. airlift将节点信息汇报称为Announce，源码中discovery模块，有服务定时announce的逻辑代码； 5. announce的方法可以从类“**HttpDiscoveryAnnouncementClient**”中发现，通
技术分享 | Presto性能对比测试：Kubernetes部署 VS 物理机部署
Alluxio的博客
10-11 1079
Presto是开源分布式SQL查询引擎，可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源，允许跨源查询。
k8s全栈技术讲解+企业案例演示[带你快速掌握和使用k8s]【进阶版】
06-03
一、为什么学习kubernetes众所周知，随着容器的快速发展，容器管理工具kubernetes也应运而生，目前不仅百度、京东、阿里、google等大公司在使用kubernetes，一些中小企业也开始把业务迁移到kubernetes，那么作为运维、开发、测试或者架构师来说，必须要掌握这项技术，才能提现我们的工作价值，才能在行业具备保持较高的技术水平，kubernetes作为成熟的容器编排工具，具有容器集群的自动化部署、自动化伸缩和故障自恢复的能力，让容器的部署和管理变得更加容易，能够给企业和提供一个智能化的容器云管理平台，为企业快速上云提供一个安全可靠的解决方案，此课程主要介绍kubernetes1.14/kubernetes1.15版本高可用集群的安装部署和使用，通过我多年工作经验总结，带你深入体验企业实战案例，让您轻松快速的掌握k8s，接下来让我们一起出发吧。 二、课程亮点 三、讲师简介 先超（lucky）：高级运维工程师、资深DevOps工程师，在互联网上市公司拥有多年一线运维经验，主导过亿级pv项目的架构设计和运维工作 主要研究方向： 1.云计算方向：容器 （kubernetes、docker），虚拟化（kvm、Vmware vSphere），微服务（istio），PaaS（openshift），IaaS（openstack）等2.系统/运维方向：linux系统下的常用组件（nginx，tomcat，elasticsearch，zookeeper，kafka等），DevOps（Jenkins+gitlab+sonarqube+nexus+k8s），CI/CD，监控（zabbix、prometheus、falcon）等.
k8s lifecycle——poststart和prestop
遇到问题写下来，为了以后方便查啊～
12-26 4473
k8s容器生命周期，poststart和prestop
presto性能测试
09-06
传统方式部署Presto集群是以物理机的方式运行，而在Kubernetes上部署Presto集群是以容器的方式运行。尽管Kubernetes部署方式带来了很多优点，但容器方式和物理机方式的性能差异仍是未知的。因此，需要进行对比测试来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值