ClickHouse优化

max_table_size_to_drop

此参数在/etc/ClickHouse/config.xml中，应用于需要删除表或分区的情况，默认是50GB，意思是如果删除50GB以上的分区表会失败。建议修改为0，这样不管多大的分区表都可以删除。

max_memory_usage

此参数在/etc/ClickHouse/config.xml中,表示单次Query占用内存最大值，超过的话会查询失败。建议尽量调大一些。

删除多个节点的同一张表

需要用到on cluster关键字：

drop table 表名 on cluster clickhouse集群名称

自动数据备份

只有MergeTree系列里的表可支持副本，在表引擎名称上加上Replicated前缀，例如ReplicatedMergeTree。

同时必须配置zookeeper，在/etc/metrika.xml中加入相应配置:

vi /etc/metrika.xml

<yandex>
<!-- 备份节点信息 -->
<clickhouse_remote_servers>
	// ClickHouse集群名称
    <perftest_3shards_1replicas>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>ch1</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <replica>
                <internal_replication>true</internal_replication>
                <host>ch2</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>ch3</host>
                <port>9000</port>
            </replica>
        </shard>
    </perftest_3shards_1replicas>
</clickhouse_remote_servers>

<!-- zookeeper配置信息 -->
<zookeeper-servers>
  <node index="1">
    <host>ch1</host>
    <port>2181</port>
  </node>

  <node index="2">
    <host>ch2</host>
    <port>2181</port>
  </node>
  <node index="3">
    <host>ch3</host>
    <port>2181</port>
  </node>
</zookeeper-servers>

// 备份配置，一般不同节点上配置都不同
<macros>
	// 分片数量
	<shard>1</shard>
    // 副本数量
    <replica>2</replica>
</macros>


<networks>
   <ip>::/0</ip>
</networks>


<clickhouse_compression>
<case>
  <min_part_size>10000000000</min_part_size>                                         
  <min_part_size_ratio>0.01</min_part_size_ratio>        
  <method>lz4</method>
</case>
</clickhouse_compression>

</yandex>

实例：

create table table_name
(
	...
)
ENGINE=ReplicatedMergeTree('/clickhouse/tables/{shard}/table_name',{replica})
...

/clickhouse/tables是公共前缀，{shard}/{replica}会自动获取metrika.xml中的配置。