abx2757548434676的博客

原创 数据同步过程中的数据转换——DataX Transformer实践

最近遇到一个需求，需要从一个表里读取数据，并解密其中一个字段，然后写入另一个表中，表的数据量大概是一千多万，一开始直接用MyBatis-Plus3.5.4开始支持的一个流式查询来完成这一功能，但是实践起来发现数据同步的效率十分低；后来采用了DataX自定义Transformer的方式实现了高效数据同步。