KFS支持基于字段中某个值的sql过滤,使用 skipeventbyvalue过滤器+规则文件实现,比如:sql语句insert into xx(id,c1) values(1,’test’),过滤规则文件匹配字段c1的test值,如果值满足规则文件,那么就将此sql语句过滤掉,配置的值支持的数据类型为数值类型(int)、字符类型(varchar)、时间类型(date)。通过配置过滤规则,符合规则的dml语句将会被过滤、不在入库。
二、行过滤配置
在flysync.ini文件中添加如下配置:
svc-remote-filters= skipeventbyvalue
-----过滤器中添加skipeventbyvalue
property=replicator.filter.skipeventbyvalue.definitionsFile=${replicator.home.dir}/support/filters-config/skipeventbyvalue.json
---------------指定skipeventbyvalue过滤规则文件路径
三、skipeventbyvalue.json过滤规则文件配置
3.1 配置文件说明
3.1.1 单条件过滤场景
过滤规则使用json格式,故配置文件的内容需要符合json格式,以下边配置为例,各个配置参数的含义为:
{“public.test”: { --------需要过滤的表名,其配置方式为模式名.表名-------“condition”: { -----------过滤规则主体---------“column”: “AGE”, ----------AGE字段作为判断主体-----------“function”: “>”, ----------过滤条件,可选>,<,<>,=,>=,<=----“value”: 18, ----------过滤条件阈值---------“operator”: “”, ----------逻辑条件,可选and,or等-------“conditions”: [] ----------多条件过滤规则主体,单条件不写,详情可见复合场景-----}}
该过滤规则表示,public.test表,AGE字段大于18的数据将被过滤丢弃,不做同步
3.1.2 多条件过滤场景
多字段单条件场景
{/* 等效于 WHERE AGE > 18 AND SEX = ‘女’ */“public.test”: {“condition”: {“column”: “”,“function”: “”,“value”: “”,“operator”: “”,“conditions”: [ { -----------多条件情况下,过滤规则写在conditions内—“column”: “AGE”,“function”: “>”,“value”: 18,“operator”: “”,“conditions”: []}, ---------------第一字段条件结束后,使用逗号隔开----------{“column”: “SEX”,“function”: “equals”, --------字符类型函数条件,详情见数据类型章节“value”: “女”,“operator”: “AND”, ---------逻辑条件,同sql逻辑一致-----“conditions”: []} ]}}}
以上过滤规则表示,public.test表,age>18,且sex为女的数据将被过滤丢弃
/* 等效于 WHERE AGE > 18 AND SEX = ‘女’ */
多字段多条件场景
{“public.test”: {“condition”: {“column”: “”,“function”: “”,“value”: “”,“operator”: “”“conditions”: [ { ----------单字段(AGE)多条件过滤规则开始----------“column”: “”,“function”: “”,“value”: “”,“operator”: “”,“conditions”: [ {“column”: “AGE”,“function”: “>”,“value”: 18,“operator”: “”,“conditions”: []},{“column”: “AGE”,“function”: “<”,“value”: 35,“operator”: “AND”,“conditions”: []} ]}, -----------------AGE字段过滤规则结束---------------{ ---------------SEX字段过滤规则主体-----------------“column”: “SEX”,“function”: “equals”,“value”: “女”,“operator”: “AND”“conditions”: []} ]}}}
以上过滤规则表示,public.test表,AGE大于18,小于35,且sex为女的数据将被过滤丢弃 WHERE (AGE > 18 AND AGE < 35) AND SEX = ‘女’
3.2 数值规则类型介绍
KFS规则文件中支持配置不同的数据类型来匹配,主要是分为数值型(int、number、double等),字符型(varchar、nvchar等),时间类型(date、timestamp等)
3.2.1 数值类型
对于过滤字段值是数据类型的情况,配置规则文件如下:
{/* 等效于 WHERE AGE > 18 */“SCHEMA_NAME_1.TABLE_NAME_1”: {“condition”: {“column”: “AGE”,“function”: “>”, -----可选>,<,<>,>=,<=,=“value”: 18, -----规则使用的值“operator”: “”,“conditions”: []}}
3.2.2 字符类型
{/* 等效于 WHERE SEX = ‘女’ */“SCHEMA_NAME_1.TABLE_NAME_1”: {“condition”: {“column”: “SEX”,“function”: “equals”,“value”: “女”,“operator”: “”,“conditions”: []}}
字符类型的函数配置为:
equals = ,以上述例子举例,等效于WHERE SEX = '女
equalsignoreCase 不区分大小写,均作为大写匹配,等效于 WHERE upper(SEX) = upper(‘女’)
startsWith 后模糊,等效于 WHERE SEX LIKE ‘女%’
endsWith 前模糊,等效于WHERE SEX LIKE ‘%女’
contains 全模糊,等效于 WHERE SEX LIKE ‘%女%’
3.2.3 时间类型
{“SCHEMA_NAME_1.TABLE_NAME_1”: {“condition”: {“column”: “BIRTH”,“function”: “>”, -----同数值类型----“value”: “2008-08-08”“operator”: “”“conditions”: []}}
四、总结
skipeventbyvalue支持多字段、多条件过滤,支持and,or等逻辑结合,本文中仅举例AND,可以灵活组合,满足不同的场景
参考文档:
《KFS常见过滤器配置一览》
更多信息,参见KingbaseES V8 — KingbaseES产品手册