人大金仓 KFS数据过滤-列过滤

关键字：

KingbaseFlysync、数据同步、数据过滤、表结构变更、列过滤、dropcolumn

一、需求背景 . 针对数据分发、数据集成、引用改变等场景，客户因为实际业务等原因，存在表结构变更的场景，这种场景下针对增量数据和存量数据如何保证目标端表结构发生改变之后能够正常入库和比对一致，这种情况下就需要一个中间转换的过程，KFS为这种场景提供了一个列级过滤功能

二、原理介绍

KFS的列过滤功能使用dropcolumn过滤器实现，我们获取源端表数据（存量、增量）的同时获取表结构，KFS数据是通过流的方式进行两端迁移和同步，流的过程中是一个节点一个节点的方式，每个节点都有过滤器，过滤器将对应列和数据去掉（会严格按照大小写进行模式、表、列名匹配），然后重组数据流转到下一个节点

三、配置使用方式

在flysync.ini文件中添加如下配置:

svc-remote-filters= dropcolumn  

-----过滤器中添加dropcolumn过滤器

property=replicator.filter.dropcolumn.definitionsFile=${replicator.home.dir}/support/filters-config/dropcolumn.json 

---------------指定dropcolumn过滤规则文件路径

四、示例及配置效果展示

4.1 配置文件说明

[
    {