1. 场景说明
因为涉及用户隐私或其它安全原因,需要对数据部分字段进行脱敏或加密处理。通过DataPipeline的高级清洗功能可以完全满足此类场景。
2. 场景适用说明
源/目的地:不限制
读取模式:不限制
3. 操作步骤
- 不限制DataPipeline版本
- 正常配置任务即可,只需开启高级清洗功能
- 将已写好的加密代码或脱敏代码打成jar包,上传到服务器执行目录下,直接调用即可
- 高级清洗代码可联系DataPipeline提供模板
注意事项:所写的jar包需要分别上传webservice、sink、manager所在容器的服务器的/root/datapipeline/code_engine_lib(一般默认)目录。
想要了解更多关于DataPipeline批流一体的数据同步、API数据接入、任务调度、数据质量管理、数据清洗、元数据管理等信息,可以戳↓↓↓
首页 | DataPipelinewww.datapipeline.com