TDEngine 集群安装 (K8S)

已于 2022-02-15 18:54:31 修改
阅读量2.3k 收藏 6
点赞数 2
分类专栏： Kubernetes TDEngine 文章标签： tdengine 涛思数据 docker kubernetes
于 2022-02-15 17:27:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elihe2011/article/details/122949095
版权

1. 构建镜像

1.1 entrypoint.sh

#!/bin/bash

set +e
ulimit -c unlimited
sysctl -w kernel.core_pattern=/corefile/core-%e-%p

if [ "x$TZ" != "x" ]; then
    ln -sf /usr/share/zoneinfo/$TZ /etc/localtime
fi

if [ "$TAOS_FQDN" = "" ]; then
    echo "TAOS_FQDN not set"
    exit 1
fi

sed -i "s#.*fqdn.*#fqdn    ${TAOS_FQDN}#" /etc/taos/taos.cfg
if [ $? -ne 0 ]; then
    echo "refreshing fqdn failed"
    exit 1
fi

if [ "x$TAOS_FIRST_EP" != "x" ]; then
    sed -i "s#.*firstEp.*#firstEp     ${TAOS_FIRST_EP}#" /etc/taos/taos.cfg
    if [ $? -ne 0 ]; then
        echo "refreshing firstEp failed"
        exit 1
    fi
fi

if [ "x$TAOS_SERVER_PORT" != "x" ]; then
    sed -i "s#.*serverPort.*#serverPort     ${TAOS_SERVER_PORT}#" /etc/taos/taos.cfg
    if [ $? -ne 0 ]; then
        echo "refreshing serverPort failed"
        exit 1
    fi
fi


CLUSTER=${CLUSTER:=}
FIRST_EP_HOST=${TAOS_FIRST_EP%:*}
SERVER_PORT=${TAOS_SERVER_PORT:-6030}


if [ "$CLUSTER" = "" ]; then
    # single node
    $@
elif [ "$TAOS_FQDN" = "$FIRST_EP_HOST" ] ; then
    # master node
    $@
else
    # follower, wait for master node ready
    while true
    do
        taos -h $FIRST_EP_HOST -n startup > /dev/null
        if [ $? -eq 0 ]; then
            taos -h $FIRST_EP_HOST -s "create dnode \"$TAOS_FQDN:$SERVER_PORT\";"
            break
        fi
        sleep 1s
    done

    $@
fi

1.2 Dockerfile

通过源码方式构建镜像，同时支持 AMD64 & ARM64 系统

FROM ubuntu:18.04 as builder
RUN apt-get update \
    && apt-get install -y gcc cmake build-essential git wget  \
    && apt-get clean \
    && cd /usr/local/src \
    && wget https://github.com/taosdata/TDengine/archive/refs/tags/ver-2.4.0.0.tar.gz \
    && tar zxvf ver-2.4.0.0.tar.gz && cd TDengine-ver-2.4.0.0 \
    && mkdir debug && cd debug \
    && cmake .. && cmake --build . && make install
WORKDIR /root


FROM ubuntu:18.04
LABEL MAINTAINER="eli.he@outlook.com>"

COPY ./entrypoint.sh /usr/bin/
COPY --from=0 /usr/local/taos /usr/local/taos
COPY --from=0 /etc/taos /etc/taos

ENV DEBIAN_FRONTEND=noninteractive
RUN apt-get update \
    && apt-get install -y apt-utils locales tzdata curl wget net-tools iproute2 iputils-ping sysstat binutils \
    && locale-gen en_US.UTF-8 \
    && apt-get clean \
    && chmod +x /usr/bin/entrypoint.sh \
    && ln -s /usr/local/taos/bin/taos /usr/bin/taos \
    && ln -s /usr/local/taos/bin/taosd       /usr/bin/taosd \
    && ln -s /usr/local/taos/bin/taosdump    /usr/bin/taosdump \
    && ln -s /usr/local/taos/bin/taosdemo    /usr/bin/taosdemo \
    && ln -s /usr/local/taos/bin/remove.sh   /usr/bin/rmtaos \
    && ln -s /usr/local/taos/include/taoserror.h  /usr/include/taoserror.h \
    && ln -s /usr/local/taos/include/taos.h  /usr/include/taos.h \
    && ln -s /usr/local/taos/driver/libtaos.so.2.4.0.0  /usr/lib/libtaos.so.1 \
    && ln -s /usr/lib/libtaos.so.1 /usr/lib/libtaos.so  \
    && mkdir -p /var/lib/taos \
    && mkdir -p /var/log/taos \
    && chmod 777 /var/log/taos

ENV LC_ALL=en_US.UTF-8
ENV LANG=en_US.UTF-8
ENV LANGUAGE=en_US.UTF-8

WORKDIR /etc/taos
EXPOSE 6030 6031 6032 6033 6034 6035 6036 6037 6038 6039 6040 6041 6042
CMD ["taosd"]
VOLUME [ "/var/lib/taos", "/var/log/taos", "/corefile" ]
ENTRYPOINT [ "/usr/bin/entrypoint.sh" ]

1.3 生成镜像

docker build -t tdengine:2.4.0.0 .

2. 安装集群

2.1 创建 namespace

$ mkdir ~/taos && cd $_

$ cat > taos-namespace.yml <<EOF
apiVersion: v1
kind: Namespace
metadata:
  name: taos-cluster
EOF

$ kubectl apply -f taos-namespace.yml
$ kubectl get ns
taos-cluster     Active   7s

2.2 创建 ConfigMap

$ cat > taos-configmap.yml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: taos-cfg
  namespace: taos-cluster
  labels:
    app: tdengine
data:
  CLUSTER: "1"
  TAOS_KEEP: "3650"
  TAOS_DEBUG_FLAG: "135"
EOF

$ kubectl apply -f taos-configmap.yml

2.3 创建 PV

暂时使用本地文件系统，可换成 Ceph 等

# 1. 所有节点上，挂载相应的存储盘或路径
$ mkdir -p /data/tdengine

# 2. 创建PV
$ cat > taos-pv.yml <<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: taos-pv
  namespace: taos-cluster
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: taos-storage
  local:
    path: /data/tdengine
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s-master
          - k8s-node01
          - k8s-node02
EOF

$ kubectl apply -f taos-pv.yml

2.4 创建 PVC

$ cat > taos-pvc.yml <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: taos-pvc
  namespace: taos-cluster
spec:
  storageClassName: taos-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
EOF

$ kubectl apply -f taos-pvc.yml

2.5 创建 Service (无头服务)

$ cat > taos-headless.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: taosd
  namespace: taos-cluster
  labels:
    app: tdengine
spec:
  clusterIP: None
  ports:
  - name: tcp6030
    protocol: "TCP"
    port: 6030
  - name: tcp6035
    protocol: "TCP"
    port: 6035
  - name: tcp6041
    protocol: "TCP"
    port: 6041
  - name: udp6030
    protocol: "UDP"
    port: 6030
  - name: udp6031
    protocol: "UDP"
    port: 6031
  - name: udp6032
    protocol: "UDP"
    port: 6032
  - name: udp6033
    protocol: "UDP"
    port: 6033
  - name: udp6034
    protocol: "UDP"
    port: 6034
  - name: udp6035
    protocol: "UDP"
    port: 6035
  - name: udp6036
    protocol: "UDP"
    port: 6036
  - name: udp6037
    protocol: "UDP"
    port: 6037
  - name: udp6038
    protocol: "UDP"
    port: 6038
  - name: udp6039
    protocol: "UDP"
    port: 6039
  - name: udp6040
    protocol: "UDP"
    port: 6040
  selector:
    app: tdengine
EOF

$ kubectl apply -f  taos-headless.yml

2.6 创建 StatefulSet

$ cat > taos-app.yml <<EOF
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: "tdengine"
  namespace: taos-cluster
  labels:
    app: "tdengine"
spec:
  serviceName: "taosd"
  replicas: 3
  updateStrategy:
    type: RollingUpdate
  selector:
    matchLabels:
      app: "tdengine"
  template:
    metadata:
      name: "tdengine"
      labels:
        app: "tdengine"
    spec:
      volumes:
      - name: taos-storage
        persistentVolumeClaim:
          claimName: taos-pvc
      containers:
      - name: "tdengine"
        image: "tdengine-server:2.4.0.0"
        envFrom:
        - configMapRef:
            name: taos-cfg
        ports:
        - name: tcp6030
          protocol: "TCP"
          containerPort: 6030
        - name: tcp6035
          protocol: "TCP"
          containerPort: 6035
        - name: tcp6041
          protocol: "TCP"
          containerPort: 6041
        - name: udp6030
          protocol: "UDP"
          containerPort: 6030
        - name: udp6031
          protocol: "UDP"
          containerPort: 6031
        - name: udp6032
          protocol: "UDP"
          containerPort: 6032
        - name: udp6033
          protocol: "UDP"
          containerPort: 6033
        - name: udp6034
          protocol: "UDP"
          containerPort: 6034
        - name: udp6035
          protocol: "UDP"
          containerPort: 6035
        - name: udp6036
          protocol: "UDP"
          containerPort: 6036
        - name: udp6037
          protocol: "UDP"
          containerPort: 6037
        - name: udp6038
          protocol: "UDP"
          containerPort: 6038
        - name: udp6039
          protocol: "UDP"
          containerPort: 6039
        - name: udp6040
          protocol: "UDP"
          containerPort: 6040
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: SERVICE_NAME
          value: "taosd"
        - name: STS_NAME
          value: "tdengine"
        - name: STS_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: TZ
          value: "Asia/Shanghai"
        # TAOS_ prefix will configured in taos.cfg, strip prefix and camelCase.
        - name: TAOS_SERVER_PORT
          value: "6030"
        # Must set if you want a cluster.
        - name: TAOS_FIRST_EP
          value: "\$(STS_NAME)-0.\$(SERVICE_NAME).\$(STS_NAMESPACE).svc.cluster.local:\$(TAOS_SERVER_PORT)"
        # TAOS_FQND should always be setted in k8s env.
        - name: TAOS_FQDN
          value: "\$(POD_NAME).\$(SERVICE_NAME).\$(STS_NAMESPACE).svc.cluster.local"
        volumeMounts:
        - name: taos-storage
          mountPath: /var/lib/taos
        readinessProbe:
          exec:
            command:
            - taos
            - -s
            - "show mnodes"
          initialDelaySeconds: 5
          timeoutSeconds: 5000
        livenessProbe:
          tcpSocket:
            port: 6030
          initialDelaySeconds: 15
          periodSeconds: 20    
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - tdengine
              topologyKey: kubernetes.io/hostname    
EOF

$ kubectl apply -f  taos-app.yml

2.7 创建 Service (外部访问)

cat > taos-external-svc.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: taosd-np
  namespace: taos-cluster
  labels:
    app: tdengine
  annotations:
    service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
spec:
  type: NodePort
  selector:
    app: tdengine
  ports:
  - name: tcp6030
    protocol: "TCP"
    port: 6030
    targetPort: 6030
    nodePort: 36030
  - name: tcp6035
    protocol: "TCP"
    port: 6035
    targetPort: 6035
    nodePort: 36035
  - name: tcp6041
    protocol: "TCP"
    port: 6041
    targetPort: 6041
    nodePort: 36041
EOF

3. 验证

3.1 kubectl

登录到容器中，执行命令检查集群状态

$ kubectl exec -it tdengine-0 -n taos-cluster -- taos -s "show dnodes;"

Welcome to the TDengine shell from Linux, Client Version:2.2.2.0
Copyright (c) 2020 by TAOS Data, Inc. All rights reserved.

taos> show dnodes;
   id   |           end_point            | vnodes | cores  |   status   | role  |       create_time       |      offline reason      |
======================================================================================================================================
      1 | tdengine-0.taosd.taos-clust... |      0 |      2 | ready      | any   | 2021-11-26 02:42:25.932 |                          |
      2 | tdengine-1.taosd.taos-clust... |      1 |      2 | ready      | any   | 2021-11-26 02:42:35.633 |                          |
      3 | tdengine-2.taosd.taos-clust... |      1 |      2 | ready      | any   | 2021-11-26 02:42:48.004 |                          |
Query OK, 3 row(s) in set (0.001099s)

3.2 restful

容器外部，使用restful接口访问，注意：容器外，无法之间使用taos客户端连接

$ curl -H 'Authorization: Basic cm9vdDp0YW9zZGF0YQ==' -d 'show databases;' 192.168.80.240:36041/rest/sql
{"status":"succ","head":["name","created_time","ntables","vgroups","replica","quorum","days","keep","cache(MB)","blocks","minrows","maxrows","wallevel","fsync","comp","cachelast","precision","update","status"],"column_meta":[["name",8,32],["created_time",9,8],["ntables",4,4],["vgroups",4,4],["replica",3,2],["quorum",3,2],["days",3,2],["keep",8,24],["cache(MB)",4,4],["blocks",4,4],["minrows",4,4],["maxrows",4,4],["wallevel",2,1],["fsync",4,4],["comp",2,1],["cachelast",2,1],["precision",8,3],["update",2,1],["status",8,10]],"data":[["log","2021-11-26 02:42:26.936",6,1,1,1,10,"30",1,3,100,4096,1,3000,2,0,"us",0,"ready"],["iec61850","2021-12-01 01:13:56.176",59,1,1,1,10,"365",16,6,100,4096,1,3000,2,0,"ms",0,"ready"]],"rows":2}

$ curl -u root:taosdata -d 'show databases;' 192.168.80.240:36041/rest/sql

参考资料：

https://github.com/taosdata/TDengine-Operator 【官方 kubernetes 安装tdengine 方案】

elihe2011
关注
专栏目录
k8s安装Nacos集群
05-21
k8s搭建Nacos集群，制作Nacos镜像 Nacos版本是：2.0.2
Kubernetes TDengine 系列｜安装 TDengine 的 Grafana 插件｜Grafana监控TDengine数据
weixin_48711696的博客
04-25 1588
Grafana 能够监控到TDengine 数据，快速集成搭建数据监测报警系统
kubernetes TDengine 系列 |k8s部署 TDengine集群 （可外部通信）
weixin_48711696的博客
03-23 1259
TDengine（时序数据库引擎）是一种开源的高性能时序数据库，专门设计用于处理大规模数据的时序数据存储和分析。TDengine旨在解决物联网、监控系统、日志分析等领域中海量时序数据的存储和查询需求，具有高性能、高可靠性和高可扩展性的特点TDengine的一些关键特性和优势：高性能：TDengine采用了高效的存储引擎和查询优化技术，能够快速地存储和查询大规模的时序数据。时序数据优化：TDengine专门针对时序数据进行了优化，采用了列式存储、时间序列压缩等技术，提高了数据存储和查询的效率。
千云物流- TDEngine在k8s上部署
Hello Word
07-05 311
在 Kubernetes 上部署 TDengine 集群，作为面向云原生架构设计的时序数据库，TDengine 支持 Kubernetes 部署使用 YAML 文件一步一步从头创建一个 TDengine 集群，并重点介绍 Kubernetes 环境下 TDengine 的常用操作。
TDengine | 05 | TDengine3.0.2.6 k8s部署
u013916029的博客
03-15 618
TDengine
TDengine | 01 | TDengine3.0部署
u013916029的博客
02-22 1366
TDengine
docker部署TDengine taosDb实践和踩坑记录-win11版本
LiuLei_2015的博客
08-11 2076
docer容器部署DTengine。 taos shell访问TDengine Sever如果报错：Failed to check Server Edition, Reason:0x8000000b:Unable to establish connection请换个方式连接。总有一款适合你！
k8s搭建Nacos集群
05-26
k8s搭建Nacos集群，制作Java运行容器镜像，再制作Nacos镜像 Nacos版本是：2.1.0 说明： 如果想搭建：2.2.0也根据文档步骤操作即可
skywalking K8S集群下安装
最新发布
06-14
在 Kubernetes（K8S）集群环境下安装 SkyWalking 可以帮助我们更好地监控和诊断服务的运行状态。以下是对 SkyWalking 在 K8S 集群下安装的详细步骤和相关知识点的讲解。 一、SkyWalking 简介 SkyWalking 是一个开源...
使用sealos安装k8s时的工具
11-05
而SealOS是一款专为简化k8s安装流程而设计的工具，它使得部署和管理k8s集群变得更加便捷。在《快速搭建云原生开发环境（k8s+pv+prometheus+grafana）》这篇文章中，SealOS扮演了关键的角色。 首先，我们来看一下...
matlab集成c代码-tdengine-k8s:taos，tdengine，docker，k8s
05-22
Matlab集成的c代码tdengine-k8s taos，tdengine，docker，k8s 用于kubernetes的TDengine集群 Docker的TDengine集群 什么是TDengine？ TDengine是一个开源大数据平台，在物联网（IoT），互联汽车，工业物联网以及IT基础架构和应用程序监视下进行了设计和优化。 除了将时间序列数据库速度提高10倍之外，它还提供了缓存，流计算，消息队列和其他功能，以降低开发和运营的复杂性并降低成本。 插入/查询速度提高10倍：通过创新的存储设计，在单核计算机上，可以处理超过2万个请求，可以摄取数百万个数据点，并且每秒可以检索超过一千万个数据点。 它比其他数据库快10倍。 1/5的硬件/云服务成本：与典型的大数据解决方案相比，所需的计算资源少于1/5。 通过基于列的存储和针对不同数据类型的优化压缩算法，只需不到1/10的存储空间。 时间序列数据的完整堆栈：通过将具有消息队列，缓存和流计算功能的数据库集成在一起，不再需要集成Kafka / Redis / HBase / Spark或其他软件。 它使系统架构更简单，更健壮。 强大的数
k8s-kafka:用于Kafka-on-Kubernetes的Docker容器
05-02
k8s-kafka Docker容器，用于通过环境中的配置设置在Ubuntu容器（java7）中运行kafka （0.8.1.1）。 环境 这些环境变量的名称经过精心选择，以与Kubernetes（主要是GKE）为定义的服务提供的内容兼容。 KAFKA_SERVER_ID ：必需，整数1 ..集群大小 对于集群中的每个Kafka实例 KAFKA_CLIENT_<i>_SERVICE_HOST ：etcd实例的IP地址 KAFKA_CLIENT_<i>_SERVICE_PORT ：etcd客户端服务的端口号（4001） 对于每个Zookeeper实例 ZK_CLIENT_<i>_SERVICE_HOST ：Zookeeper实例的IP地址 ZK_CLIENT_<i>_SERVICE_PORT ：Zookeeper客户端服务的端口号 笔记 要启动两节点集群，请首先运行以下命令以启动Zoo
elasticsearch K8S集群安装
06-07
elasticsearch K8S集群安装
TDengine | 02 | TDengine3.0常见问题汇总
u013916029的博客
02-27 546
TDengine3.0
[云原生] [kubernetes] K8S安装存储类 - StorageClass
OxYGC
09-26 1384
Kubernetes提供了一套可以自动创建PV的机制，即：Dynamic Provisioning(动态配置)。而这个机制的核心在于StorageClass这个API对象。PV的属性。比如，存储类型，Volume的大小等。创建这种PV需要用到的存储插件，即存储制备器。有了这两个信息之后，Kubernetes就能够根据用户提交的PVC，找到一个对应的StorageClass，之后Kubernetes就会调用该StorageClass声明的存储插件，进而创建出需要的PV。
好消息！TDengine的K8s部署方案终于正式落地！
涛思数据
07-23 635
好消息！好消息！今天我们有一个令人激动的好消息要宣布！ 虽然开局的文风看着有些“震惊党”，但是希望大家不要介意。因为从今天开始，TDengine终于正式推出了基于K8s上的部署方案。 这么久以来，我们时常看到用户问什么时候才能看到TDengine在K8s上的部署方案——现在，这一天终于来了。 Kubernetes是一个用于自动化部署、扩展和管理容器化应用程序的开源系统。作为该领域的事实标准，K8s可以促进完善组件和工具的生态系统，以减轻应用程序在公有云或私有云中部署和运维的负担。 因此，有了K8s的
基于昇腾910B搭建多节点K8s集群
小白菜的博客
01-11 2270
自从 2013 年 Docker 诞生以来，容器一跃成为 IT 界最热门的话题。而 Kubernetes 趁着容器的东风，击败众多竞争对手，成为了“容器编排”领域的King。可以说，现在 Kubernetes 已经没有了实际意义上的竞争对手，它的地位就如同 Linux 一样，成为了事实上的云原生操作系统，是构建现代应用的基石。
云原生TDengine-v3.0部署手册
知易行难
07-13 1128
创建StatefulSet服务，需要关注以下参数与上述步骤设置的参数一致。
时序数据库TDengine(taos)集群安装
WXk_wer的博客
09-26 3589
##下载安装包 taos官网 https://www.taosdata.com/cn/getting-started/ 本文采用rpm安装方式 注：如果服务端与客户端在不同物理机上，安装客户端时须和服务端统一版本。 准备工作 本文在虚拟机上安装集群，如需docker容器运行，请参照官网！ 1。规划集群所有物理节点的FQDN(如部署了DNS，则需网络管理员在DNS上做好相关配置)，建议修改/etc/hostname 然后集群所有物理节点/etc/hosts增加相应的其他节点FQDN 注： (1)客户端连
K8S在CentOS7.3上的单机与集群安装教程
"k8s安装部署涉及在CentOS7.3环境下进行Kubernetes的单机版和集群版安装，涵盖etcd和docker的安装过程。安装步骤包括环境初始化、软件安装以及解决可能出现的问题。" 在Kubernetes（简称k8s）的安装部署中，首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值