【Clickhouse】Clickhouse 千万数据 如何更改列的类型

最新推荐文章于 2024-06-20 19:05:18 发布
最新推荐文章于 2024-06-20 19:05:18 发布
阅读量732 收藏
点赞数
分类专栏： clickhouse 文章标签： clickhouse 数据库 java 1024程序员节
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/128078614
版权
clickhouse 专栏收录该内容
139 篇文章 637 订阅 ¥19.90 ¥99.00
订阅专栏
本文主要讨论在Clickhouse中遇到的一个问题，即如何在拥有千万数据的表上安全地将一个字符串类型的字段转换为Array类型。直接ALTER TABLE会遇到错误，尝试删除并重新添加列会导致超时。解决方案是创建新表，通过INSERT SELECT迁移数据，然后rename新表并删除旧表。此方法避免了ALTER操作可能导致的问题，并引用了相关文章和腾讯工程师的建议作为参考。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

我们有个现场的ck几个字段是字符串类型，但是因为后期发展需要需要更改成array类型。这几个字段当时是没用到的，因此存储的都是空的。

请问我有个千万数据的 clickhouse 数据库，然后有个表有个字段是string类型，然后我想把这个字段改成 Array类型，

尝试如下方案

  1. 直接更改字段类型，发现会提示更改错误，但是查看建表语句发现已经修改成功，但是查询数据的话，会报错，无论是历史的 还是新插入的数组类型
ALTER TABLE 表名 MODIFY COLUMN 字段名 字段类型;
  1. 尝试
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Clickhouse 配置使用
qq_35667076的博客
02-29 1408
​ Clickhouse配置项主要在 config.xml 或 users.xml 中， 基本上都在 users.xml 里 config.xml的配置项：Server Settings | ClickHouse Documentation users.xml的配置项 ：Settings | ClickHouse Documentation
【ClickHouse-Sql】ClickHouse 类型转换用法介绍
weixin_53543905的博客
01-29 3277
Clickhouse 作为一个专用于大数据分析的数据库，数据类型转换是其数据处理功能非常重要的一部分。类型转换可以将一个数据类型转换为另一个数据类型，以便于进行统计、计算和分析。在数据处理中，类型转换的准确性和效率决定了大数据分析的结果是否准确和实时，因此，类型转换是非常重要的。Clickhouse 作为一个专用于大数据分析的数据库，类型转换功能非常重要。在实际应用中，需要根据具体的业务场景选择合适的类型转换函数，以提高数据转换的效率与准确性。
【ClickHouse】SQL 操作(Update 和 Delete、查询操作、alter 操作、导出数据) （四）
最新发布
大数据爱好者的博客
06-20 729
基本上来说传统关系型数据库（以MySQL为例）的SQL语句，ClickHouse基本都支持，这里不会从头讲解SQL语法，只介绍ClickHouse与标准SQL（MySQL）不一致的地方。3)支持各种JOIN，但是JOIN操作无法使用缓存，所以即使是两次相同的JOIN语句，ClickHouse也会视为两条新SQL。“重”的原因主要是每次修改或者删除都会导致放弃目标数据的原有分区，重建新分区。虽然可以实现修改和删除，但是和一般的OLTP数据库不一样，Mutation语句是一种很“重”的操作，而且不支持事务。
Clickhouse修改字段类型
热门推荐
基咯咯
06-27 2万+
Clickhouse的列操作 ALTER TABLE [db].name [ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFY COLUMN ... 在查询中，指定一个或多个逗号分隔操作的列表。 每个操作都是对列的操作。 支持以下操作: ADD COLUMN— Adds a new column to the table. DROP COLUMN— Deletes the column. CLEAR COLUMN— Resets colum...
修改clickhouse列的类型
u013887652的博客
07-04 437
【代码】修改clickhouse列的类型。
ClickHouse修改表字段名称、类型
Circle-C的博客
12-25 1万+
修改字段名称 ALTER TABLE db_name.table_name RENAME COLUMN regionId to region; 修改字段类型 ALTER TABLE db_name.table_name MODIFY COLUMN endTimestamp Int64; 添加字段 ALTER TABEL db_name.table_name ADD COLUMN `$user_id` Nullable(String); 删除字段 ALTER TABEL db_...
hive表同步clickhouse并且修改字段类型
qq_29632521的博客
04-22 3167
表在hive中生成，同步到clickhouse中去，最后连接superset，但是发现superset对字段格式要求比较严格。所以原先的度量是字符串，需要改成bigint。 于是，先修改hive中的字段的类型（***.****：为表名称）： alter table ***.**** change column col1 col11 string cascade; alter table ***.**** change column col11 col1 string cascade; 修改click
Clickhouse的数据类型(一)
Xlucas的博客
03-22 3701
Clickhouse的数据类型细说
ClickHouse数据查询
weixin_59295776的博客
03-13 1329
SELECT *可以定义子查询 ,但是一定还要注意的是,子查询只能返回一行结果 ,否则会抛出异常WITH (SELECT *) AS subSELECT*,sub。
kettle 连接 clickhouse数据库
03-23
在实际应用中，你可能还需要关注数据类型映射，因为Kettle和ClickHouse的数据类型可能存在差异，需要适配。此外，注意优化SQL查询，避免全表扫描，利用ClickHouse的索引和分区特性来提升查询效率。 总的来说，...
利用代码修改数据库字段类型
11-27
可以用代码选择性连接数据库，修改指定的字段类型，不需要打开数据库进行操作
ClickHouse中文翻译文档 （开源分析性数据库--高速查询，大数据实时分析时代黑马）
03-25
ClickHouse，开源的数据分析性的数据库。 Clickhouse的具体特点（不支持事务，不同于关系型数据库）： Ø  1.真正的面向列的DBMS Ø  2.数据高效压缩 Ø  3.磁盘存储的数据 Ø  4.多核并行处理 Ø  5.在多个服务器上分布式处理 Ø  6.SQL语法支持 Ø  7.向量化引擎 Ø  8.实时数据更新 Ø  9.索引 Ø  10.适合在线查询 Ø  11.支持近似预估计算 Ø  12.支持嵌套的数据结构 Ø  支持数组作为数据类型 Ø  13.支持限制查询复杂性以及配额 Ø  14.复制数据复制和对数据完整性的支持 ClickHouse的不完美： Ø 1.不支持事物。 Ø 2.不支持Update/Delete操作。 Ø 3.支持有限操作系统。
【Clickhouse】Clickhouse TTL 数据的存活时间
九师兄
02-07 7692
1.概述 转载：Clickhouse TTL 2.环境 运行环境： centos 7.6 Clickhouse> select version(); SELECT version() ┌─version()─┐ │ 20.4.4.18 │ └───────────┘ TTL即Time To Live 表示数据的存活时间。在MergeTree中，可以为某个列字段或者整张表设置TTL。当时间达到时，若列字段级别的TTL 则会删除这一列的数据；若表级别的TTL则会删除整张表的数据；若同时设置了列
clickhouse 数据类型转换
weixin_38424594的博客
03-17 2万+
1. 数值/日期类转换 1.1 常规类型转换 1.2 -OrZero系列 1.3 -OrNull系列 2. 字符串转换 3. 通用的转换函数CAST(x, t) 4. 时间相关转换 1. 数值/日期类转换 1.1 常规类型转换 大类 细类 描述 toInt(8|16|32|64) toInt8(expr) 转换为有符号的整数，转换向零舍入（截断数字的小数位）。nan和inf未定义。 toInt16(expr) toInt32(expr) t.
ClickHouse 修改表字段属性避坑记录
离风的博客
03-30 1572
问题：由于CK是基于Zookeeper的分布式数据库，每执行一次alter操作，集群内部会进行同步字段属性；此时，如果批量执行alter命令，由于前一个字段未同步到整个集群，后一条alter执行将会报错。常规方式：每个字段的修改都会执行一条alter语句。解决方案：只通过一个alter命令修改所有字段属性。需求：将表中所有字段都设置为不可为空。
Clickhouse修改列类型失败的问题
欲望以提升热忱 毅力以磨平高山
01-29 4093
项目场景： >> 业务场景需要修改ck的列名称 问题描述： 使用客户端远程去连接ck并进行DDL修改发现报如下错误： ck04 :) alter table xxx on cluster report_shards_replicas rename column city_level to city_level_1; Syntax error: failed at position 95: alter table bi_1v1_sel_operation_analysis_pl.
Clickhouse中对表的基本操作（增加、删除、修改列等）
moose_killer的博客
04-08 8675
1.CK中添加列：ALTER TABLE 表名称 ON 集群名称 ADD COLUMN 列名称 类型 DEFAULT 注解 eg：ALTER TABLE 表名称 ON 集群名称 ADD COLUMN lvl Int32 DEFAULT 'lvl'2.CK中修改注释：alter table 表名称 ON 集群名称 COMMENT COLUMN 列名称 注解; alter table adm_sch_d05_content_live_service_di_local ON 集群名称 COMMENT COLUMN
clickhouse 修改列类型
07-08
要修改ClickHouse列的类型，可以使用ALTER TABLE语句的MODIFY COLUMN子句。下面是修改列类型的一般语法： ``` ALTER TABLE table_name MODIFY COLUMN column_name new_data_type; ``` 其中，`table_name`是要修改的表的名称，`column_name`是要修改类型的列的名称，`new_data_type`是要设置的新数据类型。 例如，如果要将名为`age`的列的数据类型从整数（Int32）修改为浮点数（Float64），可以执行以下操作： ``` ALTER TABLE my_table MODIFY COLUMN age Float64; ``` 请注意，这种修改可能需要重新计算和重组表中的数据，因此可能会对性能产生一定影响。如果表中有大量数据，可能需要较长的时间来完成修改操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值