日常小笔记
背景:
使用ALTER TABLE chtable_c1 delete where id<15; 删除数据后。
再插入相同的数据就会出现有如下情况
原来的数据
插入语句和再次查看数据
日志中的问题提现:
2019.09.09 22:17:07.014152 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Debug> executeQuery: (from 172.20.44.13:58310) insert into chtable_c1 values
2019.09.09 22:17:07.026205 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Debug> db.chtable_c1 (Replicated OutputStream): Wrote block with ID '201912_15429777648785638502_11816576347281729008', 1 rows
2019.09.09 22:17:07.030457 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Information> db.chtable_c1 (Replicated OutputStream): Block with ID 201912_15429777648785638502_11816576347281729008 already exists; ignoring it.
大概意思是说已经有一个一模一样的数据块了。
另外ck没有事务概念,但是为了保证重复插入的insert的幂等性,会检测重复,如果重复则跳过。
如果想不跳过可以SET insert_deduplicate=0
详细说明参见
https://github.com/yandex/ClickHouse/issues/3526
摘要:
不建议关掉这个重复检查,因为这事唯一的幂等性检测,另外重复的数据块是以批次为单位的,如果同一批次和第二批次是一模一样的,通常情况下就不会产生删除了再插入的情况。