数据集成平台DIP

　　数聚集成平台主要解决结构化与非结构化数据融合存储的混合应用场景，将异源异构的数据通过可视化集成过程统一管理和调度。 打破企业数据孤岛，业务壁垒，同时进一步推进和辅助企业的湖仓一体化建设，提供全面、完整的数据，强化IT与业务部门间的数据协同，实现数据融合和业务透明化。

　　数聚集成平台主要的功能亮点体现在：1、数据源链接：支持多种数据源的数据集成，支持主流的关系数据源；2、清洗交换管理：具有远程通道服务管理模块，支持通道连接用户的管理、通道配置、安全管理设置、数据授权等服务内容；3、资源目录管理：提供交换数据源的元数据釆集和梳理标注等功能，形成本地数据目录。4、数据转换管理：可视化方式配置数据转换和验证流程，将数据装载到指定数据源；5、任务调度管理：兼容开源ETL工具Kettle，可在集成平台进行全链路可视化管理；6、监控&统计：实时运行监控、统计分析，报警通知和成果展现；7、数据采集管理：支持线下数据的批量导入、提交、查看，支持手工数据在线编辑、提交、查看。

　　8、数据清洗与交换：远程通道服务管理，支持通道连接及运行监控；9、系统管理：包括系统用户管理、用户授权管理，机构管理、日志管理、参数配置等功能。

　　数据集成平台主要的应用场景有两个：第一、数据采集、清洗、存储：数据集成平台支持多种异构的数据源的数据采集，数据集成平台支持多种的数据源：SAP Hana， Oracle，Sql Server，MySQL， PostgreSQL，Greenplum等，提供无侵入式的增量获取功能，具有高速的数据集成能力；数据集成平台具备数据清洗功能，可对不同来源数据进行数据校验，并可进行常规的ETL操作；数据集成平台可以读取常见格式数据文件比如后缀名为.csv、.xls、.txt、.mdb、.dbf等类型文件。

　　第二、任务调度，日志监控统计：数据集成平台支持图形化界面，可通过Web页面进行数据ETL工具Kettle任务的开发、调度、监控，并具有极好的扩展性和可靠性, 兼容开源ETL工具Kettle，能提供完整的数据处理任务的配置、调度、监控、失败干预等功能，可在集成平台进行全链路可视化管理。