streamsets data collector新增upsert 4 mysql
1.背景简介
由于sdc缺少由kudu到mysql的upsert操作,前期通过spark-sql定制化开发了一套数据同步程序,但是由于spark-sql同步大量数据,效率十分低下,现基于sdc源码定制化了支持mysql的upsert数据的导入插件。
2.部署步骤
2.1 cm界面操作
找到如上图的位置添加如下相应配置
sdc-security.policy 的 Data Collector 高级配置代码段(安全阀):
// custom stage library directory
grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.8.1/user-libs/-" {
permission java.security.AllPermission;
};
// user-defined external directory
grant codebase "file:///opt/sdc-extras/-" {
permission java.security.AllPermission