k8s中clickhouse导出导入遇到的问题记录

近期,在做k8s相关的项目时,涉及到了ck数据库的导入导出的问题。

一开始就想到采用导出数据到csv文件,再从csv文件导入的做法。所以,导出和导入的语句分别为:

导出:

kubectl exec -it  ck_pod_name -n namespace --clickhouse-client --host=127.0.0.1 --port=9000 --user=username --password=password --query="select * from log.test FORMAT CSV" > /opt/test.csv

其中参数值根据实际值填写,到这里导出是没问题的,导出的csv打开可以看到是以逗号为分割的列数据

但是当导入时会报错,此时导入语句如下:

kubectl exec -it  ck_pod_name -n namespace --clickhouse-client --host=127.0.0.1 --port=9000 --user=username --password=password --query="insert into table log.test FORMAT CSV" < /opt/test.csv

报错内容:cannot parse input:expcted ,at the end of stream

报错内容提示的意思应该是在文件最后缺少逗号,但是csv文件打开看又没有毛病,无解。

后来直接不用默认的逗号分割列,用|来分割试了下,有效,解决问题。

导出导入语句如下:

导出:

kubectl exec -it  ck_pod_name -n namespace --clickhouse-client --host=127.0.0.1 --port=9000 --user=username --password=password --query="select * from log.test FORMAT CSV" --format_csv_delimiter='|' > /opt/test.csv 

导入:

kubectl exec -it  ck_pod_name -n namespace --clickhouse-client --host=127.0.0.1 --port=9000 --user=username --password=password --query="insert into table log.test FORMAT CSV" --format_csv_delimiter='|' < /opt/test.csv

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Kubernetes上启动ClickHouse,需要按照以下步骤进行操作: 1. 首先,安装ClickHouse Operator。可以通过以下命令来安装: ``` kubectl apply -f clickhouse-operator-install.yaml -n ckk8s ``` 这个命令将会创建所需的自定义资源定义和相关的配置。 2. 接下来,部署ZooKeeper。可以使用以下命令来完成: ``` kubectl apply -f zookeeper.yaml -n ckk8s ``` 这将创建一个ZooKeeper集群,ClickHouse Operator将使用它来协调和管理ClickHouse集群。 3. 配置ClickHouse集群。可以使用以下命令来创建ClickHouse集群: ``` kubectl apply -f clickhouse-cluster.yaml -n ckk8s ``` 这将根据提供的配置文件创建ClickHouse集群。可以根据需要进行自定义配置。 4. 等待ClickHouse集群启动完成。可以使用以下命令来检查集群的状态: ``` kubectl get clickhousecluster -n ckk8s ``` 当集群状态显示为“Ready”时,表示ClickHouse集群已成功启动。 5. 最后,连接到ClickHouse数据库。可以使用以下命令连接到ClickHouse集群的节点: ``` kubectl -n ckk8s exec -it <clickhouse-pod-name> -- clickhouse-client ``` 将`<clickhouse-pod-name>`替换为实际的ClickHouse节点的名称,可以使用`kubectl get pods -n ckk8s`命令获取。 请注意,上述步骤提到的配置文件(例如`clickhouse-operator-install.yaml`、`zookeeper.yaml`和`clickhouse-cluster.yaml`)可能需要根据您的具体环境和要求进行自定义。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值