在很多场景中需要按照多个字段来进行分库分表,比如在电信行业中,一般会根据用户号码以及时间(比如月份)来存储用户通信产生的数据。今天就给大家讲讲,怎么使用pgoneproxy来实现这个功能。现在假设用户号码就是int 型的id号,下面的配置中先根据id进行分表,在根据时间tt进行分表。
[
{
"table" : "bigtest",
"pkey" : "id",
"type" : "int",
"method" : "crc32",
"partitions":
[
{"suffix":"_0", "group":"data1"},
{"suffix":"_1", "group":"data1"}
],
"subpkey":"tt",
"subtype":"timestamp",
"submethod":"buffer",
"subpartitions":
[
{"suffix":"_2015", "group":"data1", "minval":"1997-01-01 00:00:00", "maxval":"2015-01-01 00:00:00"},
{"suffix":"_2037", "group":"data1", "minval":"2015-01-01 00:00:01", "maxval":"2037-01-01 00:00:00"}
]
}
]
上面通过crc32来针对ID进行分表,存储到后缀为_0,_1的表中。在通过buffer的方式来针对时间字段tt来把数据存储到对应后缀的表中。通过上面的配置,在数据库表中会产生如下的四张表:
pgbench=> \dt;
List of relations
Schema | Name | Type | Owner
--------+------------------+-------+----------
public | bigtest_0_2015 | table | db_user
public | bigtest_0_2037 | table | db_user
public | bigtest_1_2015 | table | db_user
public | bigtest_1_2037 | table | db_user
即小于2015-01-01 00:00:00的数据存放到后缀为2015的表中,其他的数据存放到2037的表中。如果想根据更加具体的时间来分表,则可以通过修改sub