ZDH大数据采集平台-数据源管理

本次介绍基于ZDH v4.7.18版本

预览地址

后台管理-登陆

用户名：zyc
密码：123456

安装包下载地址

登录预览系统-可下载安装包

数据源管理

数据源管理主要包含ZDH数据采集平台支持的多种数据源，在4.7.18版本中支持以下数据源

JDBC：（常用数据库，oracle,mysql,postgresql,sql server,clickhouse,gbase,达梦，greenplum,hive）

HDFS：hadoop分布式文件系统

HBASE: 分布式列式存储数据库

MONGODB: 基于分布式文件存储数据库

ELASTICSEARCH:搜索服务，简称ES

HIVE: ZDH默认使用一个HIVE元数据服务

KAFKA: 消息队列，底层采用spark-stream实现，如果对实时性要求高，可通过zdh_flink平台替代

HTTP: 目前支持http-json,数据格式

REDIS: 支持redis, hashmap结构, key为表名+主键结构，value是map结构，map的key是字段名,value是字段值

CASSANDRA: nsql数据库

SFTP: 支持

KUDU: 支持

FLUME: 支持

TIDB:支持

ICEBERG: 支持，但是存在一定限制,v5.0.0之后会实现flink iceberg实现

DATAX: 集成datax,可无缝迁移datax任务，并提供datax可视化配置

FTP: v5.0.0版本之后支持