zdh_web 开源项目教程
项目介绍
zdh_web 是一个大数据采集和抽取平台,它是 zdh 系列服务的可视化管理平台。该平台包含数据采集、调度、权限、审批流、私域营销等多个模块。zdh_web 支持二次开发,自带简单调度工具,可配置定时任务和时间序列任务,支持多种数据处理和调度方式,如 SHELL 命令、SHELL 脚本、JDBC 查询调度、HDFS 查询调度等。
项目快速启动
环境准备
- Java 8 或更高版本
- Maven
- Git
克隆项目
git clone https://github.com/zhaoyachao/zdh_web.git
cd zdh_web
构建项目
mvn clean install
启动项目
java -jar target/zdh_web.jar
项目启动后,可以通过浏览器访问 http://localhost:8080
进入管理界面。
应用案例和最佳实践
数据采集
zdh_web 支持多种数据源的采集,包括本地文件上传、HDFS、JDBC 等。以下是一个简单的 JDBC 数据采集示例:
- 在管理界面中创建一个新的数据采集任务。
- 配置数据源为 JDBC,并填写相应的数据库连接信息。
- 编写 SQL 查询语句,选择需要采集的数据。
- 配置调度计划,设置任务的执行时间和频率。
- 启动任务,系统将按照配置自动执行数据采集。
数据处理
zdh_web 支持复杂的数据处理任务,包括数据清洗、转换和加载。以下是一个简单的数据清洗示例:
- 在管理界面中创建一个新的数据处理任务。
- 选择需要处理的数据源和目标数据源。
- 编写数据处理脚本,使用 Spark 进行数据清洗和转换。
- 配置调度计划,设置任务的执行时间和频率。
- 启动任务,系统将按照配置自动执行数据处理。
典型生态项目
zdh_server
zdh_server 是 zdh_web 的后端数据 ETL 处理部分,与 zdh_web 配合使用可以实现完整的数据采集和处理流程。项目地址:https://github.com/zhaoyachao/zdh_server
Spark
zdh_web 使用 Spark 作为数据 ETL 引擎,支持 Hadoop 和 Hive 的可选部署。Spark 是一个快速、通用的大数据处理引擎,适用于各种数据处理场景。
Spring Boot
zdh_web 的后端使用 Spring Boot 框架,提供了快速开发和部署的能力。Spring Boot 是一个用于创建独立的、生产级别的 Spring 应用程序的框架。
Bootstrap
zdh_web 的前端使用 Bootstrap 框架,提供了响应式的用户界面设计。Bootstrap 是一个流行的前端开发框架,适用于快速构建现代化的网站和应用程序。
通过以上模块的介绍和实践,您可以快速上手并深入了解 zdh_web 开源项目的使用和开发。