一次使用 Kettle 处理 DataEase 展示的原始数据

Avanb

已于 2022-06-28 12:31:14 修改

阅读量1.5k

点赞数 1

文章标签：数据仓库 big data etl

于 2022-06-19 17:11:03 首次发布

本文链接：https://blog.csdn.net/m0_56071760/article/details/125314973

版权

一、背景信息

最近一直在学习 DataEase 的官方使用文档，由于公司的业务需求需要接触 BI 工具，开始接触到 DataEase，其简单易上手的功能吸引到我，正好自己也有可视化的需求，看到朋友们的推荐就使用了起来。

官方介绍 DataEase 是一款人人可用的、开源的数据可视化分析工具，可帮助用户快速分享数据并洞察业务趋势，从而实现业务的改进与优化，DataEase 不仅支持丰富的数据源链接，还能够通过拖拉拽快速制作图表，并方便与他人进行分享。

Kettle 是一款国外开源的 ETL 工具，Java 编写，可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定；Kettle 这个 ETL 工具集，允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

二、前期准备

2.1 DataEase 安装部署

先是要搭建 DataEase 平台，到 DataEase 官网提供的在线文档看了安装模式，我选择安装本地模式，并参考官方知识库文章将 DataEase 的 Doris 端口映射到宿主机，安装过程如下。

从官方的使用文档可了解到，DataEase 本地模式下包含了 Kettle 组件，可用于在本地模式下抽取数据和转换来至数据源的数据。

执行一键安装脚本后，很方便的把 DataEase 服务给安装好了，此外，我把 Kettle 的服务端口 18080 给映射了出来，通过修改 /opt/dataease/docker-compose-kettle.yml 文件添加 ports：- 18080:18080，再参考官方在线文档的命令行工具，重新加载 docker-compose 文件即可，如下图所示 Kettle 和 Doris 的端口已经暴露出来。

在浏览器直接访问服务器 IP:80 端口即可，如下图所示已经成功安装好 DataEase。

2.2 Kettle 安装

下载 Kettle 安装包 pdi-ce-8.3.0.0-371，在 Windows 系统点击以下图标直接打开即可。

注意：需要在本地提前安装好 Java 环境。

打开后的 Spoon 界面如下图所示：

三、数据获取

从济南公共数据开放网下载原始的数据文件。

原始的数据类型如下：

可以看出，原始的 gps 和 bus_lines_name 字段是我想要展示的，我的需求是用符合地图展示济南市公交站点的位置，参考官方的在线文档中符号地图的使用方法，为了更方便的对数据进行展示，需要对这两列数据进行处理，将每路的 GPS 定位的经纬度转化成两个字段，同时需要将 bus_line_name 字段的数据进行拆分。

四、数据过滤

在 Spoon 下操作，新建一个 Doris 库的链接。

导入文件后将 bus_lines_name 这一列拆分为多行，更方便数据进行展示。

将 gps 字段进行拆分，拆分成经度与维度字段。

如下图所示，确定好转换的流程。

为了锻炼自己的 SQL 能力，我直接利用 Kettle 在已链接好的 Doris 数据库建表，建表语句如下。

CREATE TABLE bus_lines_name
(
  bus_lines_name_gj VARCHAR(20) COMMENT "公交路线"
, longitude VARCHAR(20) COMMENT "经度"
, latitude VARCHAR(20) COMMENT "维度"
)
DISTRIBUTED BY HASH(`bus_lines_name_gj`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

在本地执行转换，如下图所示，数据已经成功导入到 Doris 。